¿Cuáles son las principales diferencias entre el hilo y el mapreduce tradicional?
Es una infraestructura de sistema distribuido desarrollada por la Fundación Apache.
Los usuarios pueden desarrollar programas distribuidos sin comprender los detalles subyacentes de la distribución. El poder de los clústeres se puede aprovechar al máximo para la informática y el almacenamiento de alta velocidad.
El diseño central del marco Hadoop es: HDFS y MapReduce. HDFS proporciona almacenamiento para datos masivos, mientras que MapReduce proporciona cálculo para datos masivos.
Yarn
Es una versión mejorada de Hadoop 2.0.
Ventajas de Yarn:
Este diseño reduce en gran medida el consumo de recursos de JobTracker (ahora ResourceManager) y hace que el proceso de monitoreo del estado de cada subtarea (tarea) de Trabajo se distribuya, más seguro y más elegante.
En el nuevo Yarn, ApplicationMaster es una parte modificable que permite a los usuarios escribir su propio AppMst para diferentes modelos de programación, lo que permite que se ejecuten más tipos de modelos de programación en clústeres de Hadoop, como el hadoop oficial Mapred. Se muestra la configuración -site.xml en la plantilla de configuración de Yarn.
Representar los recursos en términos de memoria (en la versión actual de Yarn, el uso de la CPU no se tiene en cuenta) tiene más sentido que la representación anterior de los recursos en términos del número de slots restantes.
En el marco anterior, una de las tareas principales de JobTracker era monitorear el estado de la tarea bajo la tarea, pero ahora esta parte del trabajo se entrega a ApplicationMaster y hay un módulo en ResourceManager llamado ApplicationsMasters (no ApplicationMaster). Hay un módulo en ResourceManager llamado ApplicationsMasters (no ApplicationMaster), que es responsable de monitorear el estado de ApplicationMaster y reiniciarlo en otra máquina si ocurre un problema.
Container es un marco propuesto por Yarn para el aislamiento de recursos en el futuro. Esto debería basarse en el trabajo de Mesos. Actualmente, Mesos es un marco que solo proporciona aislamiento de memoria de VM Java. La idea de diseño del equipo de hadoop debería poder admitir una mayor programación y control de recursos, porque los recursos están representados por la cantidad. de memoria y no existen. En el pasado, el uso exclusivo de la ranura de mapa/reducción de ranura causaba la situación embarazosa de recursos del clúster inactivos.