Cómo implementar hadoop completamente distribuido

Revisemos el artículo anterior sobre la configuración del entorno Hadoop para un solo nodo. Configuramos CentOS 6.8 y completamos la construcción del entorno de ejecución de Java, la configuración del archivo host, el nombre de la computadora y muchos otros detalles.

De hecho, al completar este paso, hemos completado la mitad de la construcción del clúster Hadoop, porque sabemos que la ventaja de construir una máquina virtual es copiar la máquina directamente. Varias unidades funcionan sincrónicamente, lo que reduce el consumo de tiempo y el desperdicio de configuraciones individuales. Esta también es una ventaja que aporta la tecnología de virtualización.

A continuación, ingresamos al proceso operativo detallado del sistema distribuido.

1. Primero, debe copiar la computadora de instancia única creada anteriormente en VMWare.

Según el plan anterior, necesitamos clonar al menos tres computadoras más como almacenamiento de datos para los nodos de datos DataNode. La máquina anterior se gestiona como nodo maestro.

Aquí, ordenemos el diagrama de arquitectura física de todo el clúster de Hadoop. Todo el mundo tiene conceptos y comprensión directos. La tabla anterior deja en claro que se requieren cinco servidores, cuatro se usan para construir el clúster de Hadoop y el otro (opcional) se usa como MySQL y otros periféricos para administrar el clúster de Hadoop.