Cómo construir un sistema de registro distribuido Flume
En el artículo anterior, ¿cómo se recopilaron y procesaron los sistemas de registro de docenas de líneas de negocios? y se han introducido muchos escenarios de aplicación de Flume, este artículo presenta primero cómo construir un sistema de registro independiente.
Medio ambiente
CentOS7.0
Java1.8
Descarga
Descarga del sitio web oficial completada
Iniciar canal agente a1
/usr/local/flume170/bin/flume-ng agente - c .-f /usr/local/flume170/conf/spool.conf -n a1 -Dflume .root.logger=INFO,console
Agregar un archivo al directorio /usr/local/flume170/logs
# echo " spool test1" > /usr/local/flume170/ logs /spool_text.
En la consola, puede ver la siguiente información relacionada:
Copiar código
14/08/10 11:37:13 INFO fuente .SpoolDirectorySource: El ejecutor de origen del directorio de cola de impresión se ha cerrado.
14/08/10 11:37:13 INFO fuente.
14/08/10 11:37:14 INFO avro ReliableSpoolingFileEventReader: Preparándose para mover el archivo /usr/local/flume170/logs/spool_text.log a /usr/local/flume170/logs/spool_text.log.COMPLETED 14/08/10 11:37:14 INFORMACIÓN source.SpoolDirectorySource.Spooling. El corredor de origen del directorio está cerrado. 14/08/10 11:37:14 INFORMACIÓN fuente.SpoolDirectorySource.14/08/10 11:37:14 INFORMACIÓN fregadero.LoggerSink: Evento: {encabezados:{file=/usr/local/flume170/logs/spool_text.log } cuerpo: 73 70 6F 6F 6C 20 74 65 73 74 31 spool test1 } 14/08/10 11:37:15 INFORMACIÓN source.SpoolDirectorySource: El corredor de origen del directorio de spooling se ha cerrado. 08/14/10 11:37:15 Fuente de INFORMACIÓN.SpoolDirectorySource: El corredor de origen del directorio de cola está cerrado. SpoolDirectorySource: El ejecutor de Spooling Directory Source se ha cerrado. 08/14/10 11:37:16 INFO source.INFO source.SpoolDirectorySource: El corredor de Spooling Directory Source se ha cerrado.
08/14/10 11:37:16 INFORMACIÓN fuente.SpoolDirectorySource: El corredor de origen del directorio de cola de impresión se ha cerrado. 14/08/10 11:37:17 INFORMACIÓN fuente.SpoolDirectorySource: El ejecutor de origen del directorio de cola de impresión se ha cerrado.
Copiar código
La apariencia del contenido anterior indica que se puede ejecutar Y todo el proceso de instalación. Muy simple, principalmente configuración.
En cuanto a la distribución, es necesario configurar el origen y el sumidero.
Como se muestra en la figura anterior, los registros generados por cada empresa son recibidos y resumidos por un Flume, y luego los registros resumidos se envían a KafKa para su procesamiento unificado y finalmente se guardan en HDFS o HBase. En la figura anterior, Flume en cada negocio puede realizar carga y respaldo primario, lo que demuestra que tiene una gran escalabilidad.
Autor: Huang Jiu