¿Cuál es la base del big data?
javaSE, EE (SSM)
El 90% de los frameworks de big data están escritos en Java
Por ejemplo, MongoDB - The La base de datos más popular, multiplataforma y orientada a documentos.
Hadoop: un marco de software de código abierto escrito en Java para almacenamiento distribuido y procesamiento distribuido de conjuntos de datos muy grandes.
Spark: el proyecto más activo de Apache Software Foundation, un marco informático de clúster de código abierto.
Hbase: una base de datos distribuida no relacional y de código abierto modelada a partir de BigTable de Google, escrita en Java y ejecutándose en HDFS.
MySQL (debe dominar)
SQL en Hadoop se divide en:
SQL por lotes (Hive): generalmente se usa para procesamiento ETL complejo y minería de datos y avanzado. analítica.
SQL interactivo: consulta SQL interactiva, generalmente ejecuta repetidamente diferentes consultas en la misma tabla
SQL operativo: generalmente una consulta de un solo punto, el requisito de latencia es inferior a 1 segundo, este El sistema de clases es principalmente HBase.
Linux
El marco de big data está instalado en el sistema operativo Linux