¿Por Qué Migrar de Synapse a Fabric? Un Salto Hacia la Innovación Analítica

Con el lanzamiento de Microsoft Fabric, la analítica en la nube da un paso adelante. Aunque Azure Synapse Analytics ha sido una herramienta sólida, Fabric nos ofrece una experiencia más unificada y mayor integración, especialmente con Power BI. En este blog, exploraremos los beneficios clave de migrar de Synapse a Fabric y cómo esta transición puede optimizar tus operaciones de datos.

¡Comenzamos!

Azure Synapse Analytics es un recurso en la nube de Azure que permite almacenar y analizar grandes cantidades de datos. Nos posibilita la capacidad de integrar y gestionar estos datos mediante consultas SQL, notebooks con cómputo de Spark en varios lenguajes, uso de canalizaciones y orquestación de datos, procesamiento de datos en tiempo real y machine learning. Todo unificado en una sola plataforma escalable y segura.

Microsoft Fabric es el SaaS (Software as a Service) más reciente y avanzado de análisis de datos de Microsoft, diseñado para simplificar los flujos de trabajo entre departamentos dedicados al IT, como pueden ser la ciencia de datos y el business intelligence. Es una solución unificada de todos los procesos que se requieren para un análisis integral de datos, desde la ingesta hasta la creación de informes, pasando por analítica en tiempo real y machine learning, pero además añadiendo funcionalidades que marcan la diferencia como es la integración nativa con Power BI, entre muchas otras que veremos más adelante. Por lo tanto, no es necesario utilizar diferentes servicios de varios proveedores, ya que Fabric es una plataforma perfectamente integrada y fácil de usar, que cuenta con todos los recursos necesarios. No obstante, Fabric cuenta con diferentes capacidades para facilitar tanto la implantación de soluciones autónomas como en conjunción con otras tecnologías, eliminando asi la hermeticidad del servicio y brindando a los usuarios la libertad de usar otras soluciones según sus necesidades.

Tras entender lo que ofrecen Azure Synapse Analytics y Microsoft Fabric, es fundamental destacar las similitudes que ambos comparten, lo que facilita la transición entre ambas plataformas.

Ambos servicios ofrecen la capacidad de desarrollar soluciones de ingeniería de datos basados en cómputo de Spark y SQL. Aunque Fabric es un ecosistema que ofrece muchas más soluciones para otros fines además de todo el ETL, dentro de los símiles entre ambos podemos encontrar:

1. La integración de Synapse Pipelines y Mapping Dataflows, sustituidos por los Dataflows Gen2 en la experiencia de Data Factory, no sólo unifica las capacidades de orquestación y transformación de datos, sino que además introduce una mayor automatización e integración con otros componentes nativos de Fabric.

2. Sobre la parte del cómputo SQL, el concepto de Pool Dedicado de Synapse se ha recogido en la experiencia de Data Warehouse, aunque fusionado con la facilidad del Serverless que te abstrae de la creación de la infraestructura. Te permite hacer todo tipo de operaciones SQL y una gestión más personalizada de una base de datos. El Serverless de Synapse se ha reciclado también dentro de los Lakehouse en Fabric con el nombre de SQL Endpoint Analytics.

3. Las funcionalidades ofrecidas por Synapse Spark, como la ejecución de Spark Jobs, el uso de Notebooks (en lenguajes como PySpark, Scala, R y SQL), así como la implementación de Lake Databases (Lakehouses en Fabric) para el almacenamiento de datos, han sido integradas y optimizadas dentro de la experiencia de Data Engineering en Microsoft Fabric. Los clústers de Apache Spark ya no se crean en grupos independientes como en Synapse, en Fabric se asignan a un área de trabajo, creándolos y gestionándolos en sus ajustes.

4. La experiencia de Data Science en Fabric no sólo recoge las capacidades de Machine Learning de Synapse, sino que también las amplía con herramientas avanzadas para el desarrollo de modelos, pipelines de ML automatizados y capacidades integradas de MLOps para una implementación más rápida y confiable de los modelos.

5. La parte de analítica de datos en tiempo real en Synapse se incluye bajo la experiencia Real-Time Intelligence, donde además se ha ampliado bastante, con servicios como los Eventstreams o la nueva experiencia de Data Activator, que permite desencadenar acciones automáticamente a eventos.

Todas estas experiencias que recogen y mejoran las funcionalidades ya existentes en Synapse, en el momento de la creación de este blog, su nomenclatura incluye “Synapse” antes del nombre de la experiencia, para así distinguirlas mejor.

Aunque ambas plataformas comparten varias funcionalidades, Microsoft Fabric se destaca por ofrecer una serie de mejoras y beneficios que llevan la gestión de datos al siguiente nivel.

¿Quieres conocer Microsoft Fabric en profundidad y qué puede hacer con IA? Suscríbete ya a nuestro podcast de Data & IA y echa un vistazo a nuestro programa especial sobre Microsoft Fabric, donde hablaremos de:

• Puntos clave de Fabric
• Ventajas de esta plataforma de Microsoft
• La relación entre Fabric e IA y qué pueden hacer juntos

🔽​🔽​ Aquí puedes ver el programa completo 🔽​🔽​

• Fabric es un servicio SaaS enfocado en simplificar y ofrecer una experiencia más unificada, lo que lo hace más accesible para un público más amplio, especialmente aquellos que buscan gestionar diversas soluciones analíticas en un mismo entorno, con un mismo almacén (OneLake) que se comparte entre todas las experiencias, haciendo que los datos sean accesibles desde todas ellas, guardados en formato Delta-Parquet.

• Además, Fabric ofrece una integración nativa con Power BI, lo que facilita el análisis de datos de manera más fluida y accesible. También permite la sincronización automática entre OneLake y PowerBI. En cambio, Synapse no lo tiene integrado nativamente, hay que conectarse al área de trabajo de PowerBI o, si solo se requiere consumir datos, al punto de conexión SQL Serverless de Synapse.

• En algunas experiencias se pueden ver cambios significativos que hacen la labor de ingeniería mucho más sencilla, como, por ejemplo, en la experiencia de Data Warehouse, se elimina la necesidad de usar algoritmos de distribución de datos como en el Pool Dedicado de Synapse, los cuales podían añadir una capa de complejidad a la hora de usar ese recurso. Además, es importante destacar que, detrás de estas mejoras, los datos se gestionan utilizando ficheros Delta-Parquet, integrados de forma nativa con OneLake, lo que contribuye a una mayor eficiencia y simplicidad en la gestión de los datos.

• En cuanto al uso de los notebooks, ambos entornos permiten colaboración y ofrecen integración con herramientas como Git y VS Code. Sin embargo, Fabric incorpora mejoras adicionales como autoguardado, comentarios y colaboración en tiempo real o un sistema de archivos nativo para navegar por el OneLake.

• Por lo que respecta a Data Science se ofrecen mejoras como el Data Wrangler, Semantic Link o los modelos de AI predefinidos, todas diseñadas para facilitar y mejorar la experiencia proporcionada.

• Otra mejora sustancial que nos ofrece Fabric frente a Synapse, es V-Order, un algoritmo de optimización que se aplica al momento de escribir datos en formato Delta-Parquet en OneLake y que permite que la lectura de estos datos sea extremadamente rápida desde los motores de cómputo de Fabric, como son Power BI, SQL, Spark y KQL. Esta optimización también se aplica en escenarios que utilizan Direct Lake, una tecnología que permite a los motores de cómputo acceder directamente a los datos en el Data Lake sin necesidad de importar o cargar previamente la información, lo que reduce la latencia. (Véase Acelera el análisis de tus datos con el nuevo modo Direct Lake de Microsoft Fabric (vernegroup.com) y Direct Lake overview – Microsoft Fabric | Microsoft Learn para más información). Como resultado, los motores de cómputo requieren menos recursos para leer los datos, lo que se traduce en un menor coste y mayor rendimiento.

• Costes simplificados al usar menos recursos y servicios que en Synapse, además de ser más predecibles ya que sólo se cobra por dos factores: el tiempo de uso de la capacidad y el almacenamiento usado en OneLake. Por lo que facilita en gran medida la gestión de costes.

• Finalmente, es importante considerar que, con la llegada de Microsoft Fabric, el enfoque en el desarrollo de nuevas mejoras y actualizaciones para Azure Synapse Analytics ha disminuido. Aunque sigue siendo una herramienta valiosa y funcional, la atención se está orientando cada vez más hacia Fabric. Esto es algo a tener en cuenta al evaluar cuál de las dos soluciones se adapta mejor a las necesidades a largo plazo.

Con los beneficios de Fabric claramente expuestos, es momento de analizar los diferentes enfoques y estrategias disponibles para migrar de manera efectiva desde Azure Synapse.

¿Qué Debo Tener En Cuenta?

• Necesidad de cambiar las rutinas de integración por la puerta de enlace y los Mapping Dataflows por los Dataflows Gen2 en Fabric. Además, los Linked Services (conexiones) pasaran a gobernarse desde los ajustes de Fabric.

• Algunas conexiones existentes en Synapse no se encuentran en Fabric, como Salesforce.

• Muchos de los servicios de Fabric son relativamente nuevos y pueden estar sujetos a cambios.

• Características como el Mirroring de Fabric para replicar datos, aún no tiene implementada la opción de traer datos alojados en Synapse, aunque es posible que lo hagan en un futuro próximo.

• Evaluar compatibilidades de artefactos y notebooks, prestando especial atención a las versiones y configuraciones del runtime de Spark, ya que es clave para el rendimiento y la compatibilidad.

• Es recomendable realizar una migración gradual y controlada, además de realizar pruebas de todos los pasos.

• Cambio de costes y propios de la migración.

• Preparación de capacidades y formación técnica.

• Conservación de políticas de seguridad y cumplimiento.

• Automatización y optimización post-migración.

¿Qué Metodos Podemos Seguir Para Hacer La Migración?

Actualmente, no existe un proceso automatizado o completamente nativo para migrar directamente de Azure Synapse Analytics a Microsoft Fabric, pero hay varios métodos y enfoques que puedes utilizar dependiendo de las necesidades de la migración. Aquí mencionamos algunas de ellas:

1. Migración manual de datos, scripts y notebooks: los datos se podrían migrar manualmente haciendo uso de herramientas que trasladen los datos de una plataforma a otra, como Data Factory o Azure Storage Explorer, así como los scripts y notebooks que se podrían descargar y subir a Fabric.

2. Migración manual de pipelines, workflows y Linked Services: se deberán migrar las pipelines y workflows siguiendo la misma lógica en Fabric, ya que no hay una solución para migrar automáticamente. Lo mismo ocurre con Linked Services, que habrá que crear las mismas conexiones en Fabric.

3. Uso de SQL Endpoint y Lakehouse: Puedes migrar las tablas y vistas SQL de Synapse a Fabric ajustando las configuraciones de almacenamiento y procesado en los nuevos entornos de Lakehouse.

4. Integración a través de herramientas de terceros.

¿Si Quisiese Migrar un Pool Dedicado de Synapse a Fabric, ¿Cómo Podría Hacerlo?

Podemos decantarnos por utilizar alguno de los siguientes métodos:

1. La experiencia de Data Factory de Fabric.

2. Procedimientos almacenados en un pool dedicado en Synapse.

3. Extensión SQL Database Project en Azure Data Studio o VS Code.

4. Framework DBT.

5. Creación de CETAS (Create External Table As Select) para extraer datos a un ADLSGen2 en parquet y llevar a Fabric a través de shortcuts. Véase CETEAS con Synapse SQL para más información relacionada.

Como conclusión, podríamos destacar los siguientes aspectos:

• Migrar de Azure Synapse Analytics a Microsoft Fabric es una oportunidad significativa para transformar y mejorar la manera en que gestionas y optimizas tus datos.

• A lo largo del blog hemos analizado las similitudes entre ambas plataformas, las ventajas significativas que Fabric introduce y los detalles esenciales para una transición exitosa. Esta evolución tecnológica no sólo ofrece mejores tangibles en integración y escalabilidad, sino que también abre nuevas oportunidades para optimizar los flujos de trabajo y acelerar procesos.

• Dada la complejidad de la migración, contar con un equipo experto que guíe cada paso es esencial para maximizar el éxito de tu proyecto. Verne Tech está comprometida en ofrecer soluciones personalizadas, asegurando que cada fase de la migración sea eficiente, segura y adaptada a tus necesidades. Con nuestro conocimiento y experiencia, podemos ayudarte a aprovechar al máximo las capacidades de Microsoft Fabric, convirtiendo este cambio en una ventaja competitiva para tu negocio.