Microsoft Fabric Real-Time & IoT Central. ¿Cómo podemos trabajar con Datos en streaming sin necesidad de código?

En esta demostración, aprenderemos a integrar y utilizar tres potentes herramientas de Microsoft Azure: IoT Central, Event Hub y Fabric. Estas soluciones nos permitirán conectar dispositivos IoT, gestionar y almacenar datos en tiempo real, y realizar análisis avanzados, proporcionando una infraestructura robusta para obtener insights valiosos y tomar decisiones informadas.

¡Comenzamos!

Para realizar esta demostración vamos a necesitar previamente crear los siguientes recursos:

• IoT Plug and Play: Aplicación que manda los datos de nuestro móvil.
• Azure IoT Central: Recogerá los datos de nuestro dispositivo y los mandará a un Event Hub.
• Azure Event Hub: Actuará como concentrador de la información IoT.
• Microsoft Fabric: Recogerá los datos de Event Hub y los procesará mediante la herramienta de RealTime Analytics.

IoT Central es una solución SaaS que facilita la conexión, el seguimiento y la gestión de dispositivos IoT a escala. La plataforma ofrece paneles personalizables, alertas en tiempo real y soporte para múltiples canales de comunicación.

Para conectar dispositivos, IoT Central tiene una variedad de métodos de conexión, incluido IoT Plug and Play, que es fácil de configurar al permitir la conexión de códigos QR. Esta facilidad de uso es beneficiosa para aplicaciones que requieren integración con dispositivos móviles. Además, IoT Central ofrece funciones avanzadas como gestión de dispositivos, análisis de datos y seguridad avanzada, lo que permite a las empresas centrarse en sus aplicaciones y servicios en lugar de en la tecnología.

Event Hub es altamente escalable y ofrece gestión de datos en tiempo real. Su capacidad para procesar millones de eventos por segundo lo hace ideal para telemetría, análisis de datos en tiempo real y transmisión de datos. Event Hub actúa como un «búfer» temporal para que los datos se puedan recopilar de manera eficiente y distribuirse a los servicios apropiados sin pérdida de datos.

Además de la capacidad de administrar grandes cantidades de datos, Event Hub también proporciona replicación de datos, recuperación ante desastres e integración con otros servicios de Azure para garantizar que sean múltiples y potentes. También admite compatibilidad con varios sistemas de comunicación y API, integración con varias aplicaciones y dispositivos de IoT.

Microsoft Fabric es una plataforma integrada de análisis de datos que permite a las organizaciones administrar datos y realizar análisis avanzados en tiempo real. Fabric puede procesar y transformar de manera eficiente grandes cantidades de datos, lo que permite a las empresas obtener conocimientos y tomar decisiones informadas basadas en información precisa y actualizada.

En nuestro escenario, Fabric será responsable de recibir datos de Event Hub, procesarlos y almacenarlos en una base de datos KQL. Fabric proporciona un ecosistema completo de capacidades de almacenamiento, procesamiento y visualización de datos que simplifican la implementación de soluciones de análisis de un extremo a otro.

Para empezar, descargamos la aplicación en el móvil que vincularemos a IoT central a través de un código QR que nos facilitará IoT central cuando queramos añadir un dispositivo.

En primer lugar, necesitamos obtener esos datos, para ello usaremos IoT Central que nos permitirá conectar en este caso el móvil, aunque también tiene soporte para múltiples dispositivos. Dentro de la web de IoT Central, añadiremos un dispositivo, seleccionaremos la opción IoT Plug and Play y lo conectaremos mediante un QR. Una vez conectado, la aplicación obtendrá los datos en streaming y pasaremos a mandarlos a un Event Hub. Esto lo conseguiremos mediante la opción de exportar datos que nos proporciona IoT Central, en la que podremos modificar la cadena para que llegue como nosotros queramos.

IoT Central también proporciona herramientas para monitorear la salud y el rendimiento de los dispositivos conectados, así como para configurar reglas y alertas que ayuden a detectar y responder a eventos críticos en tiempo real.

Una vez ya tenemos los datos en nuestro Event Hub procederemos a llevar estos datos a la base de datos mediante un EventStream en el que añadiremos el Event Hub como entrada y la base de datos KQL como salida. En medio de este proceso podremos realizar transformaciones a nuestros datos. Opcionalmente, podemos añadir un reflejo para que nos mande un aviso de que algún dato no cumple las condiciones que consideremos o activar un flujo de Fabric.

Event Hub proporciona un alto grado de seguridad y control sobre el acceso a los datos mediante el uso de políticas de autenticación y autorización basadas en roles. Además, su integración con otros servicios de Azure, como Azure Stream Analytics y Azure Functions, permite crear pipelines de procesamiento de datos complejos y personalizables.

Fabric se encargará de procesar estos datos utilizando RealTime Analytics y almacenarlos en una base de datos KQL. Este proceso permite transformar y enriquecer los datos para obtener insights más detallados y accionables. Por ejemplo, podríamos agregar cálculos de métricas en tiempo real, detectar anomalías o aplicar modelos de machine learning para predecir comportamientos futuros.

Finalmente, para visualizar los datos y obtener informes detallados, podemos integrar Fabric con Power BI. Esto nos permitirá crear dashboards interactivos y actualizados en tiempo real que mejoren la toma de decisiones sobre estos datos. Power BI ofrece capacidades de visualización avanzada y herramientas de colaboración que facilitan compartir insights y trabajar en equipo.

Hacemos una pequeña referencia a los costes de los servicios, en el momento actual, como orientación del orden de magnitud de los mismos. Siempre se deben consultar las guías oficiales en el momento de implementación.

La aplicación no tiene coste. Sí existirá el coste de recibir los mensajes en IoT Central.

El costo de IoT Central, en el momento de escribir este artículo, es de aproximadamente $0.08 por dispositivo y $0.065 por cada 1000 mensajes. Este precio puede variar dependiendo de la cantidad de dispositivos y el volumen de mensajes que se manejen en la plataforma. IoT Central ofrece diferentes planes de precios que se pueden ajustar según las necesidades específicas de cada proyecto.

El costo de Event Hub es de $0.026 por cada millón de eventos y $0.014 por hora por cada unidad de procesamiento. Estos precios reflejan la capacidad de Event Hub para manejar grandes volúmenes de datos en tiempo real de manera eficiente y escalable. Event Hub también ofrece opciones de precios basadas en el uso y planes de reserva que pueden reducir los costos a largo plazo.

En el caso de Fabric, el precio puede variar en función de la capacidad que necesitemos, comenzando con una F2 a $0.407 por hora o una F2048 a $416.646 por hora. Fabric ofrece diferentes opciones de precios basadas en la capacidad y el rendimiento requeridos, además que puede ser parado e iniciado, lo que permite a las organizaciones escalar sus soluciones de análisis de datos según sus necesidades. No requiere grandes potencias de cómputo, pero se debe analizar cada escenario.

La integración de IoT Central, Event Hub y Fabric permite crear una solución completa y robusta para el manejo y análisis de datos en tiempo real. IoT Central simplifica la conexión y gestión de dispositivos IoT, Event Hub garantiza la ingestión y distribución eficiente de datos, y Fabric ofrece las herramientas necesarias para el procesamiento y análisis avanzado. Esta combinación de tecnologías permite a las organizaciones obtener insights valiosos y tomar decisiones informadas basadas en datos precisos y actualizados. Además, la posibilidad de integrar estas plataformas con Power BI permite la elaboración de informes detallados y visualizaciones que mejoran la toma de decisiones y la eficiencia operativa.