¿Qué herramientas existen en el campo de la tecnología big data?

1. Hadoop

Hadoop nació en 2005. Es un proyecto diseñado por Yahoo para solucionar problemas de búsqueda en la red. Hadoop en sí no es un producto, sino un ecosistema de productos de software que, en combinación, permiten una funcionalidad integral y un análisis flexible de big data. Técnicamente, Hadoop consta de dos servicios clave: un servicio de almacenamiento de datos confiable que utiliza el sistema de archivos distribuido Hadoop (HDFS) y un servicio de procesamiento de datos paralelo de alto rendimiento que utiliza la tecnología MapReduce.

2.Hive

Hive es una arquitectura de almacén de datos construida sobre el sistema de archivos Hadoop y se utiliza para analizar y administrar datos almacenados en HDFS. Facebook nació y se desarrolló para satisfacer las necesidades de gestión y aprendizaje automático de Facebook a partir de las grandes cantidades de nuevos datos de redes sociales que se generan cada día. Posteriormente, otras empresas también empezaron a utilizar y desarrollar Apache Hive, como Netflix, Amazon, etc.

3.Storm

Storm es un marco informático distribuido escrito principalmente en el lenguaje de programación Clojure. Storm fue fundada por Nathan Marz y su equipo en BackType, una empresa de inteligencia y marketing adquirida por Twitter en 2011. Posteriormente, Twitter abrió el proyecto y lo promocionó en GitHub. Storm finalmente se unió al Programa Incubadora Apache en septiembre de 2014, convirtiéndose oficialmente en uno de los principales proyectos de Apache.

Lvteng compartirá con usted qué herramientas están disponibles en el campo de la tecnología de big data. Si tiene un gran interés en la ingeniería de big data, espero que este artículo le resulte útil. Si desea saber más sobre las habilidades y la información de los analistas de datos y los ingenieros de big data, puede hacer clic en otros artículos de este sitio para obtener más información.