Código fuente del agente de armas de Alibaba Cloud

En la era DT, cientos de millones de servidores, terminales móviles y dispositivos de red generan registros masivos todos los días. La solución de procesamiento de registros centralizado resuelve eficazmente las necesidades de consumo de registros en todo el ciclo de vida. El primer paso es recopilar registros del dispositivo y cargarlos en la nube.

Las siguientes son tres herramientas comunes de recopilación de registros y su análisis comparativo.

Logstash es un motor de recopilación de datos de código abierto con capacidades de procesamiento de canalizaciones en tiempo real. En pocas palabras, logstash sirve como puente entre las fuentes de datos y las herramientas de análisis de almacenamiento de datos. Combinado con ElasticSearch y Kibana, puede facilitar enormemente el procesamiento y análisis de datos. Con más de 200 complementos, logstash puede aceptar casi todo tipo de datos. Incluyendo registros, solicitudes de red, bases de datos relacionales, sensores o Internet de las cosas, etc.

Logstash se implementa en base a JRuby y puede ejecutarse en JVM en todas las plataformas.

Diseño modular, gran escalabilidad e interoperabilidad.

Td-agent es una herramienta de recopilación de registros popular en la comunidad de código abierto. Es su versión comercial y es mantenida por Bao Data Company. Es la versión de evaluación seleccionada para este artículo.

Fluentd se implementa en base a CRuby y algunos componentes críticos para el rendimiento se vuelven a implementar en lenguaje C. El rendimiento general es bueno.

Fluentd tiene un diseño simple y una alta confiabilidad en la transmisión de datos dentro del pipeline. En comparación con logstash, tiene relativamente menos compatibilidad con complementos.

El productor del servicio de registro en Alibaba Cloud actualmente se ejecuta en las máquinas internas del Grupo Alibaba. Después de más de tres años de pruebas, actualmente ofrece servicios de recopilación de registros para los usuarios de la nube pública de Alibaba.

Utilizando el lenguaje C++, se han realizado grandes esfuerzos en estabilidad, control y gestión de recursos, y el rendimiento es bueno. En comparación con el soporte comunitario de logstash y fluentd, logtail tiene una función única y se centra en la función de recopilación de registros.

Más adelante se compartirá más contenido sobre devops y DBA. ¡Los amigos interesados ​​pueden prestar atención!