¿Cuáles son los software para plataformas de big data?
1. Phoenix
Esta es una capa intermedia de Java que permite a los desarrolladores ejecutar consultas SQL en Apache HBase. Phoenix está escrito completamente en Java, el código está en GitHub y proporciona un controlador JDBC integrable en el cliente.
El motor de consultas Phoenix convertirá la consulta SQL en uno o más escaneos HBase y organizará la ejecución para generar un conjunto de resultados JDBC estándar. Al utilizar directamente la API de HBase, los coprocesadores y los filtros personalizados, los niveles de rendimiento varían desde milisegundos para consultas simples hasta segundos para millones de filas.
2. Presto
Presto, el motor de consulta de datos de código abierto de Facebook, puede analizar de forma rápida e interactiva más de 250 PB de datos. El proyecto comenzó a desarrollarse en el otoño de 2012 y actualmente lo utilizan más de 1.000 empleados de Facebook, ejecutando más de 30.000 consultas y 1 PB de datos diarios. Facebook afirma que el rendimiento de Presto es más de 10 veces mejor que el de Hive y Map*Reduce.
Presto actualmente admite la mayoría de los efectos especiales de ANSI SQL, incluidas consultas conjuntas, uniones izquierda y derecha, subconsultas y algunas funciones de agregación y cálculo que admiten recuentos aproximadamente distintos (DISTINCT COUNT), etc.
3. Shark
Shark es Hive en Spark. Básicamente utiliza el análisis HQL de Hive para traducir HQL en operaciones RDD en Spark y luego obtiene la base de datos a través de los metadatos de Hive. , Shark obtendrá los datos y archivos reales en HDFS y los colocará en Spark para su cálculo. Las características de Shark son que es rápido, totalmente compatible con Hive y puede usar API como rdd2sql () en modo shell para continuar operando el conjunto de resultados obtenido por HQL en el entorno Scala y admite la escritura de aprendizaje automático simple o simple. funciones de análisis y procesamiento usted mismo, analice y calcule más a fondo los resultados HQL.
En cuanto al software que tiene la plataforma de big data, lo compartiré contigo aquí. Si tiene un gran interés en la ingeniería de big data, espero que este artículo pueda ayudarle. Si desea saber más sobre las habilidades y materiales de los analistas de datos y los ingenieros de big data, puede hacer clic en otros artículos de este sitio para obtener más información.
Lo anterior es el contenido relevante compartido por el editor sobre qué software se utiliza para las plataformas de big data. Para obtener más información, puede seguir a Global Ivy para compartir más información útil.