Kafka para el acoplamiento de plataformas IoT
Apache Kafka es un sistema de cola de mensajes distribuido que utiliza una arquitectura de publicación y suscripción para separar la aplicación de datos de flujo generados de los roles que usan datos de flujo. Apache Kafka permite a los usuarios capturar eventos de colas de mensajes, transacciones, eventos de IoT o transmisión de datos, como aplicaciones y registros, y también puede analizarlos en tiempo real, transformar continuamente los datos y luego procesar los datos recibidos y distribuirlos a otros datos. lagos y base de datos.
AWS mencionó que los usuarios deben superar algunos obstáculos al configurar Apache Kafka en un entorno de producción, especialmente en la gestión posterior y la expansión de escala. Ahora, el servicio MSK lanzado oficialmente por AWS es administrado por AWS y los usuarios pueden simplemente configurarlo y usarlo. Y, debido a que es necesario utilizar varias versiones de Kafka con el coordinador de nodos ZooKeeper * * * (ZooKeeper), el servicio MSK puede hacer que Kafka y ZooKeeper sean fáciles de configurar.
Al utilizar el servicio MSK, los usuarios pueden crear un clúster en minutos y utilizar AWS Identity Management y Access Control IAM para administrar las operaciones del clúster. También pueden autorizar a los clientes a cifrar datos mediante TLS a través de una autoridad de certificación privada TLS totalmente administrada por ACM (AWS Certificate Manager) y cifrar otros datos utilizando claves de KMS (AWS Key Management Service). Cuando un servidor falla, MSK también reemplazará la máquina fallida y realizará parches automáticamente. Los usuarios pueden monitorear las métricas del estado del servicio desde Amazon CloudWatch.
AWS indica que MSK es totalmente compatible con Kafka 1.1 y 2.1.0, por lo que los usuarios pueden ejecutar aplicaciones y herramientas originales de Kafka directamente en AWS sin modificar ningún código, y los usuarios pueden usar la herramienta de código abierto MirrorMaker para hacerlo directamente. Los datos se migran del clúster Kafka existente a MSK.
El método de fijación de precios de MSK se basa en el precio por hora de Kafka Broker y el almacenamiento de configuración. El costo de transmisión de datos de MSK es el mismo que el de la transmisión de datos original de AWS. No hay cargos adicionales para los nodos Zookeeper utilizados por el clúster, así como para los nodos intermediarios y Zookeeper del clúster regional. Ahora, los usuarios pueden utilizar los servicios de MSK en la mayoría de las regiones de AWS, incluidas América del Norte, Asia y Europa.