Además de Hadoop, ¿qué otras plataformas informáticas distribuidas existen? ¿Cuáles son las ventajas?

En primer lugar, su formulación es incorrecta. Hadoop no es una plataforma informática, pero MapReduce es la plataforma informática de Hadoop. Hadoop es un ecosistema de soluciones de big data que incluye varios proyectos.

Hablando de plataformas informáticas, existen las siguientes: Stream Computing-Storm de Twitter, js Storm de Alibaba (js Storm de código abierto de Java (Java lo optimizó), Heron de Twitter (actualmente solo de código abierto);Batch Computación: MapReduce de Hadoop También hay procesamiento por lotes y computación en flujo: Spark y Flink de Berkeley AMP Lab (parece ser realizado por un laboratorio alemán, los detalles no están claros)

Todavía hay algunos. plataformas informáticas de big data que encontré en Internet, pero que no entendí en detalle: la versión de código abierto de Apache Drill de Google Dremel, Apache Nifi de la NSA (2065 438 presentado a la Fundación Apache en febrero de 2004), el análisis en tiempo real sistema Impala desarrollado por Cloudera ( Inspirado en Google Dremel

Actualmente existen tres plataformas (frameworks) populares: Strom, MapReduce y Spark, cada una con sus propias ventajas: MapReduce es la más adecuada para procesar grandes cantidades. el procesamiento de archivos en tiempo real es Storm; si los archivos de su empresa no son tan grandes, entonces debe ser Spark, que se puede procesar en tiempo casi real y la marca de tiempo puede alcanzar los 500 milisegundos, que es suficiente para la actualidad. procesamiento en tiempo real.

Personalmente, creo que el marco de computación de big data se desarrollará en el futuro. La dirección debe ser la combinación de MapReduce y Spark de Hadoop. Si tienes suficiente capacidad, será mejor que mires este marco de procesamiento de flujo puro.

Taxi manual, ¡espero adoptarlo!