Cómo optimizar y mantener la plataforma hadoop

(1) Optimizar desde la perspectiva de la aplicación. Dado que mapreduce analiza de forma iterativa los archivos de datos línea por línea, cómo escribir aplicaciones eficientes de forma iterativa es una idea de optimización.

(2) Ajustar los parámetros de Hadoop. El sistema hadoop actual tiene más de 190 parámetros de configuración. Cómo ajustar estos parámetros para que el trabajo de hadoop se ejecute lo más rápido posible también es una idea de optimización.

(3) Optimizar desde la perspectiva de la implementación del sistema. Este tipo de optimización es la más difícil. Comienza desde la perspectiva del mecanismo de implementación de Hadoop, encuentra las deficiencias del diseño e implementación actual de Hadoop y luego realiza modificaciones a nivel de código fuente. Este método es difícil, pero a menudo eficaz.