Cómo utilizar Cloudera Manager para hacerse cargo de una versión hadoop cdh existente del clúster
Este artículo presenta cómo construir Cloudera Manager para acceder al componente hadoop existente (cdh). La búsqueda de materiales nacionales no proporciona una introducción general y no hay artículos de referencia, proporcionados por un maestro; El grupo de intercambio QQ de big data Un artículo extranjero de Cloudera cto obtuvo la idea de la solución, y esta función se puede realizar mediante depuración experimental.
Introduce el tema de este artículo.
1. Descargue los archivos necesarios:
1. Cloudera Manager:
La mayoría de los entornos de clústeres de big data de las empresas no tienen derechos de acceso público. Entorno del sistema de clúster y la versión cm a la que desea acceder, debe encontrar la versión correspondiente del paquete fuera de línea para los sistemas redhat y centos, el6 es redhat6, sistema centos6, y luego buscar la versión cm que desea instalar. El proceso utiliza cloudera-manager-el6-cm5.9.0_x86_64.
9.0_x86_64.tar.gz
2. Instalador de cdh:
Compile el proceso cdh-5.9.0-1.cdh5.9.0.p0.23-el6.parcel, CDH-5.6 :
Este proceso de construcción utiliza el paquete de código fuente de la versión comunitaria mysql5.6 mysql-5.6.35.tar.gz
2. Instalación del administrador de Cloudera:
1. Instalación y configuración del lado del servidor mysql5.6:
Extraiga el programa de instalación de mysql y ejecútelo
1 yum?install?cmake?ncurses-*?-y
Mire el resto del resultado de la compilación y yum instale los paquetes que faltan
Vaya al directorio donde descomprimió mysql y ejecute
12 cmake?DCMAKE_INSTALL_PREFIX=/export/ mysql5.6make?amp;amp;?make?install
Si no hay ningún error, continúe la ejecución
Después de una ejecución exitosa, elimine o elimine /etc/my.cnf e instálelo en mysql Simplemente escriba my.cnf en el directorio e inicie la configuración específica de acuerdo con la configuración de su propio entorno. Este artículo no presentará el contenido en detalle
2. Descomprima cloudera-manager-el6-cm5. 9.0_x86_64.tar.gz al directorio de instalación:
Los directorios predeterminados de cloudera y cm-5.9.0 se ubican en /opt. Si se ubican en otros directorios, asegúrese de prestar atención a los correspondientes. configuración
3. Importar después de los datos, ejecute la biblioteca cm:
1/export/tmp/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh? mysql?cm?hlocalhost?-uroot?-- scm-host?127.0.0.1?scm?scm?scm?scm
4. Inicie sesión en mysql y realice los cambios necesarios en la configuración:
12 set?global?binlog_format='ROW'; Grant? All?on?*.
De lo contrario, el formato binlog predeterminado es declaración y cm comenzará a informar errores
Autorizar todos los hosts usarán scm
5. Configuración del lado del servidor de Cloudera Manager:
Crear usuario
1 useradd?system?--home=/opt/cm- 5.9.0/run/cloudera-scm-server/? --no-create -home?---shell=/bin/false?--comment?"cloudera?SCM?user"?cloudera-scm
Cree el directorio de repositorio de paquetes en el directorio anterior de cloudera y CDH -5.9.0-1.CDH5.9.0.p0.23-el6.parcel y CDH-5.9.0-1.cdh5.9.0.p0.23 -el6.parcel.
1 mv CDH- 5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1?CDH-5.9.0-1.cdh5.9.0.p0. 23-el6.parcel.sha
2 mv CDH-5.9.0-1.cdh5.9.0.p0.23-el6.pa
rcel.sha
3 mv CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha
4 mv CDH-5.9.0-1. cdh5.9.0.p0.23-el6.parcel.sha
5. Extraiga el paquete jar de mysql en la biblioteca lib:
Mysql-connector-java-5.1.40 .tar .gz Descomprima y obtenga los archivos en /opt/cm-5.9.0/share/cmf/lib:
7 Configure la información de conexión de la base de datos:
1 vim?/ opt/cm -5.9.0/etc/clouderf/lib?0/etc/cloudera-scm-server /db.properties
host Dado que mysql está instalado en esta máquina, simplemente escriba la dirección 127, biblioteca Complete el nombre, nombre de usuario y contraseña de acuerdo con el contenido de creación y autorización de usuario anterior
8. Configure el entorno java del script de inicio de cm:
123 vim?/opt/cm- 5.9.0 /etc/init.d/cloudera-scm-server/cloudera-scm-server/cloudera-scm-server/cloudera-scm-server/cloudera-scm-server/cloudera-scm-server etc/init.d /cloudera-scm-agentvim?/opt/cm-5.9.0/etc/init.d/cloudera-scm-serverexport?JAVA_HOME=/usr/java/jdk1.7.0_51
9. :
1 vim?/export/tmp/opt/cm-5.9.0/etc/cloudera-scm-serverexport?0/etc/cloudera-scm-agent/config.ini
server_host Configure la IP o el nombre de host del servidor
El server_port y el puerto permanecen sin cambios, solo use los valores predeterminados
Listening_ip puede permanecer sin cambios
Después eso, cambiar el directorio /Opt/cm-5.9.0 se copia al directorio correspondiente. 9.0 Copiar al directorio correspondiente de otros nodos del agente
Nota: asegúrese de no cambiar el uuid en /opt/cm-5.9.0/lib/cloudera-scm-agent/config ini.
Nota: asegúrese de eliminar el archivo uuid en /opt/cm-5.9.0/lib/cloudera-scm-agent; de lo contrario, habrá un conflicto de visualización del host en cm Web
10. Inicie el servicio :
Ejecutar en el lado del servidor
1 /opt/cm-5.9.0/etc/init.d/cloudera-scm-server?start
Ejecutar en el agente lado
1 /opt/cm-5.9.0/etc/init.d/cloudera-scm-server?9.0/etc/init.d/cloudera-scm-agent?start
Puerto de inicio del lado del servidor 7180 7182
El agente inicia el puerto 9000
3. Configuración web: <
1. Agregar servicio de administración de cloudera:
p>Acceso al navegador La dirección del servidor es el puerto 7180 y el nombre de usuario y la contraseña predeterminados son admin admin
Después de iniciar sesión, no siga las instrucciones para instalar, simplemente haga clic en inicio página en la parte superior izquierda y luego seleccione Agregar servicio de administración a la derecha
Complete la información de conexión para que el administrador inicie sesión en mysql
Audite la página de cambios y no realice cualquier cambio
Una vez completada la instalación, encontrará que hay datos en el monitor del clúster, haga clic en todos los hosts, verifique todos los hosts y vea el estado del nodo
Regrese a. en la página de inicio, haga clic en cluster1 a la derecha para agregar servicios
2 Agregue el servicio hdfs:
Seleccione hdfs para continuar y seleccione según el host del clúster original
Cabe señalar que el directorio de datos del nodo de datos no importa quién sea el propietario original. Se debe cambiar a hdfs, de lo contrario no se puede iniciar a través de cmdlets y se inicia el proceso correspondiente al clúster original, y el proceso correspondiente al clúster original se debe detener primero
Haga clic para continuar, haga No espere a que continúe el proceso, regrese directamente a la página de inicio y encontrará que se ha agregado la función del clúster hdfs
Ingrese al directorio de configuración de hdfs journalnode dfs.journalnode.edits.dir
Después de iniciar el clúster, observe los datos en el Monitor
Nota: El principio de acceso para otros componentes de Hadoop es detener el proceso original y modificar el nombre del componente que pertenece al usuario en el directorio correspondiente. , como hdfs, Yarn y modifique la clave cm en la configuración correspondiente. Este método transforma el entorno del programa, muchos estándares deben seguir las reglas de Cloudera Manager y existe el riesgo de perder metadatos HDFS.
4. Postscript:
Esta vez encontré algunos problemas al crear el clúster CM. Por ejemplo, el nodo de nombre no se pudo iniciar después de agregar la función hdfs y apareció el error java. Apareció io.IOException: parece aparecer en el registro de edición ¿En blanco? Esperábamos que el txid fuera 1, pero obtuvimos que el txid fuera 16. Puede ser que los datos sean discontinuos. Se puede iniciar después de repararlos mediante el comando hadoop namenode -recover. Este comando no garantiza que habrá. no hay problemas en el entorno de producción; o el nodo de datos no se puede iniciar cuando se encuentra el siguiente error Operación no operación notmitida
Posteriormente, se descubrió que el propietario del directorio correspondiente al clúster era hadoop, y después de modificarlo los permisos del propietario hdfs durante el proceso de inicio de otros roles, se podría iniciar el nodo de datos.