¿Qué se aprende en la formación en tecnología de big data?
Etapa básica: Linux, Docker, KVM, conceptos básicos de MySQL, conceptos básicos de Oracle, MongoDB, redis. hadoop mapreduce hdfs hilo: hadoop: conceptos, versiones, historial, principio de funcionamiento de HDFS, introducción a YARN e introducción de componentes de Hadoop.
Etapa de almacenamiento de big data: hbase, hive, sqoop.
Etapa de diseño de arquitectura big data: Flume distribuido, Zookeeper, Kafka.
Etapa de computación en tiempo real de big data: Mahout, Spark, Storm.
Etapa de recopilación de datos big data: Python, Scala.
La etapa práctica del negocio de big data: escenarios comerciales prácticos de procesamiento de big data empresarial, análisis de necesidades, implementación de soluciones y aplicación práctica de tecnologías integrales.
Big data (big data, mega data), o enormes cantidades de datos, se refiere a tasas de crecimiento masivas y elevadas que requieren nuevos modelos de procesamiento para tener mayor poder de decisión, conocimiento y capacidades de optimización de procesos. diversos activos de información. En "La era de los grandes datos", escrito por Victor Meyer-Schoenberg y Kenneth Cukier, los grandes datos se refieren al uso de todos los datos para su análisis y procesamiento sin atajos como el análisis aleatorio (encuestas de muestreo). Las características de 5V del big data: volumen, velocidad, variedad, valor y veracidad.
Las cinco "V" del big data, o las características, tienen cinco niveles:
Primero, el volumen de datos es enorme
Desde el nivel de TB, al nivel PB.
En segundo lugar, existen muchos tipos de datos
Los registros web, vídeos, imágenes, información de ubicación geográfica, etc. mencionados anteriormente.
En tercer lugar, la densidad de valores es baja
Tomemos el vídeo como ejemplo. Durante el proceso de monitoreo continuo e ininterrumpido, los datos potencialmente útiles son solo uno o dos segundos.
Cuarto, velocidad de procesamiento rápida
Regla de 1 segundo. Este último punto también es fundamentalmente diferente de la tecnología tradicional de minería de datos. La industria lo resume en cuatro "V": volumen, variedad, valor y velocidad.
El Internet de las cosas, la computación en la nube, el Internet móvil, el Internet de los vehículos, los teléfonos móviles, las tabletas, las PC y varios sensores repartidos por todos los rincones de la tierra son fuentes de datos o métodos de transporte.