Microsoft presenta el catálogo de datos de Azure Purview y anuncia ‘General Availability’ de Synapse Analytics.
Ha sido un gran día para el análisis avanzado en la nube de Azure, marcado por un evento virtual titulado “Dale forma a tu futuro con Azure Data y Analytics”, con la presencia del CEO de Microsoft, Satya Nadella. La compañía anunció la disponibilidad general (GA) de la última versión de su servicio de análisis en la nube, Azure Synapse Analytics. También anunció la vista previa pública de un nuevo servicio de gobierno de datos complementario llamado Azure Purview.
Azure Synapse es una evolución del antiguo Azure SQL Data Warehouse como una renovación completa de ese servicio para incluir una importante funcionalidad de lago de datos basada en Apache Spark. Synapse también incluye integración con Azure Data Factory para preparación de datos / ingeniería de datos, Power BI para inteligencia empresarial, Azure Machine Learning y modelos pre-entrenados de Azure Cognitive Services para AI, Cosmos DB y Azure Data Share. Hasta el día de hoy, las características del lago de datos y estas integraciones estaban en versión preliminar pública; a partir de hoy, son GA.
¿TIENE GOBIERNO?
Pero si bien Synapse GA es importante, aumenta aún más la necesidad de una sólida solución de gobierno de datos de origen en la nube de Azure. Sí, había algo parecido a esto en Azure Data Catalog (ADC), pero ese servicio estaba más enfocado en la administración de metadatos que en el verdadero gobierno de datos. Si bien ADC podía inventariar, buscar y etiquetar fuentes de datos, conjuntos de datos y las columnas / campos dentro de ellos, carecía de una clasificación de datos importante y otras capacidades de gobernanza, lo que dificultaba ayudar a los clientes a cumplir con las regulaciones de protección de datos como el GDPR de la Unión Europea.
Para ser justo, las ofertas de catálogos propios en Amazon Web Services (AWS) y Google Cloud también han sido rudimentarios. Quizás es por eso que Alation, un proveedor independiente de catálogos de datos muy respetado, anunció ayer una asociación con AWS. Según el comunicado de prensa de Alation, la asociación permitirá el uso de Alation para “buscar, descubrir y gobernar datos en todos los servicios de AWS, incluidos Amazon Redshift, Amazon EMR, Amazon S3, AWS Glue, Amazon RDS) y Amazon Athena “.
Sin embargo, aparte de los desfíos de la competencia, a los clientes de Microsoft y a los expertos en su ecosistema se les ha dicho, literalmente, desde hace años, que se viene una actualización de ADC. Finalmente ha llegado. Y así como la evolución de SQL Data Warehouse resultó en un cambio de marca, también lo ha hecho la evolución de ADC, con su sucesor bautizado como Azure Purview.
CARACTERÍSTICAS CLAVE
Según una publicación de blog escrita por la vicepresidenta corporativa de Microsoft, Julia White, Purview “ayuda a descubrir todos los datos en su organización, rastrear el linaje de los datos y crear un glosario empresarial donde sea que se almacene: en las instalaciones, en las nubes, en aplicaciones SaaS, y en Power BI”. La integración con Power BI es importante ya que ese servicio ya había introducido características de gobierno de datos propias, incluida la integración con Microsoft Information Protection. De hecho, Purview también ofrecerá esto, lo que permitirá a los usuarios aplicar etiquetas de confidencialidad definidas en el Centro de cumplimiento de Microsoft 365 a los activos del catálogo Purview, tal como pueden hacer los usuarios de Power BI con los informes de ese servicio y otros activos.
Junto con la integración de Microsoft Information Protection, Purview contará con “clasificadores de IA que buscan automáticamente información de identificación personal (PII), datos confidenciales y señalan datos fuera de cumplimiento” según la publicación del blog de White. Estas capacidades deberían contribuir en gran medida a abordar las necesidades de cumplimiento de GDPR mencionado anteriormente.
Purview también se integrará con Synapse, lo que debería ser una bendición para los clientes clave de Microsoft que han creado soluciones estratégicas en esa plataforma. En otra publicación de blog, Chris Stetkiewicz de Microsoft describe cómo FedEx está usando Synapse para su proyecto FedEx Surround. Surround combina datos de escaneos de paquetes (hasta una docena de escaneos para cada uno de los 6 millones de paquetes que FedEx entrega diariamente) con datos de tráfico y clima para predecir interrupciones y remediarlas reencaminando las entregas. La publicación del blog continúa explicando que FedEx Surround apoyará la distribución de vacunas COVID-19, aprovechando los datos del sensor de IoT para monitorear su ubicación, mapear las condiciones del tráfico a lo largo de la ruta y garantizar que las dosis de la vacuna se conserven dentro del rango de temperatura necesario.
MANO FIRME
Purview comenzó como un esfuerzo interno de varios años para ayudar en los esfuerzos de cumplimiento de privacidad y transformación digital de Microsoft. Esas necesidades no son triviales, por lo que incluso si Purview es nuevo para el público, aparentemente viene con un uso interno y pruebas en Microsoft. Mike Flasko, director de productos de Azure Purview, dijo: “A medida que nos modernizamos y trabajamos con nuestras propias necesidades, hemos aprendido mucho sobre lo que se necesita para transformar digitalmente Microsoft y administrar la privacidad de los datos”.
TODOS JUNTOS AHORA
Microsoft parece entender que ofrecer servicios separados de datos y análisis en la nube no es suficiente para facilitar los esfuerzos de transformación digital de sus clientes. En cambio, necesita ayudar a los clientes a utilizar esos servicios juntos y proporcionar las integraciones y capacidades auxiliares que lo hagan posible. Como dice CVP White en su publicación de blog, “demasiadas empresas … tienen silos de habilidades y silos de tecnologías, no solo silos de datos”. La evolución de Azure SQL Data Warehouse a Synapse Analytics se diseñó para abordar esa fragmentación. Es de esperar que Purview, adecuadamente llamado, lo aborde más.
