Estrategia de Big Data en la era del Internet de las cosas
Estrategia de Big Data en la era del Internet de las cosas
En la era de Internet, las PC, Pads, teléfonos inteligentes y otros dispositivos están en todas partes, y cientos de millones de usuarios usan Weibo, WeChat, Las redes sociales, los blogs y otros canales generan una gran cantidad de datos de medios propios. El comercio electrónico, los sitios web de noticias y los motores de búsqueda registran constantemente información rica sobre el comportamiento de los usuarios. Los datos masivos promueven el desarrollo de la computación en la nube y las tecnologías distribuidas. tecnologías A su vez, no solo promueve la innovación de la Web y la Internet móvil, sino que también promueve el rápido avance de la Internet de las Cosas. Ahora, estamos entrando gradualmente en la era del Internet de las cosas, haciendo realidad la visión del Internet de todo. Si en el pasado las personas eran el principal productor de información, quizás en un futuro próximo los dispositivos se conviertan en los protagonistas. generarán continuamente información relacionada con las necesidades básicas, alimentación, vivienda y transporte de las personas. Esta información logrará la sublimación de valor a través de la computación en la nube, la minería de datos y otras tecnologías para brindar a los usuarios servicios mejores y más considerados. Entonces, ¿qué tipo de datos se generarán en la era de Internet de las cosas y qué tipo de estrategia de big data debería adoptarse?
Jeff Kaplan, gerente general de THINKstrategies, escribió en la publicación de su blog "Cuando Internet de las cosas se encuentra con Big Data":
"No se pueden utilizar las estrategias actuales porque pueden ser capturados y administrados. Los datos que se utilizan serán más diversos y los casos de uso serán más ricos. Los sensores conectados a varios dispositivos y objetos generarán varios tipos de datos que se utilizarán para diversos fines de respuesta, proactivos o creativos. El trabajo es trabajar con la empresa para comprender completamente los casos de uso de Internet de las cosas y luego encontrar la tecnología que satisfaga las necesidades comerciales. En particular, el departamento de TI debe identificar la plataforma y las herramientas de análisis óptimas para permitir a los usuarios comerciales obtener la información. datos requeridos, analizar el significado de los datos y responder rápidamente” Joe Skorupa, vicepresidente y famoso analista de Gartner, cree:
“Los dispositivos IoT distribuidos en todo el mundo generarán grandes cantidades de datos de entrada, y es técnica y económicamente inviable transferir todos los datos a una ubicación para su procesamiento. La tendencia reciente de centralizar aplicaciones para reducir costos y mejorar la seguridad no es adecuada para el Internet de las cosas. Las organizaciones deben centralizar los datos en múltiples centros de datos pequeños distribuidos. , donde los datos se procesan inicialmente y se envían a un sitio central para su procesamiento adicional. "Los operadores necesitan desplegar más capacidad con visión de futuro en estas áreas para satisfacer las necesidades del desarrollo empresarial".
Patrick McFadin escribió en. su publicación de blog "Internet de las cosas: ¿a dónde van los datos?" ” explica una solución de estrategia de datos específica. Él cree que todo el proceso se puede dividir en tres etapas: generación de datos y transmisión a través de Internet, sistema central de recopilación y organización de datos, y análisis y uso continuo de datos.
La primera fase implica decidir los estándares para la creación de datos y cómo se entregarán a través de la red. Patrick McFadin cree que los datos se pueden transferir a través de tres protocolos estándar comúnmente utilizados: HTTP, MQTT y CoAP. HTTP es muy versátil, pero sus encabezados contienen mucha información redundante y no son adecuados para escenarios con poco ancho de banda. MQTT se basa en el modelo de publicación/suscripción y nuevos dispositivos o servicios pueden conectarse fácilmente al sistema central para consumir mensajes. Además, es más liviano que HTTP en términos de tamaño de mensaje, pero tiene la desventaja de no contener estándares de cifrado. CoAP es adecuado para escenarios de bajo consumo y ancho de banda. En comparación con el modelo de suscripción de MQTT, se centra más en conexiones uno a uno.
En la segunda etapa, debe decidir si recopilar datos en tiempo real o en lotes en un momento determinado según las limitaciones del dispositivo, la red y el consumo de energía. También debe decidir cómo. para almacenar los datos. Si se trata de una recopilación en tiempo real, entonces se debe considerar la velocidad de escritura de la base de datos, lo que puede ser un desafío para las bases de datos tradicionales, pero las bases de datos NoSQL como Cassandra pueden manejarlo fácilmente.
Una vez finalizada la recogida y almacenamiento de datos, el siguiente paso es el análisis, que es la parte central de todo el proceso. En este punto, es necesario considerar cuándo se utilizarán los resultados del análisis, si se requiere un análisis inmediato o casi en tiempo real, o si simplemente se requiere el procesamiento de datos históricos.
Cada vez más personas utilizan Apache Spark para analizar big data y Spark Streaming para cumplir con requisitos casi en tiempo real. Si estas tecnologías se combinan con bases de datos NoSQL como Cassandra, los desarrolladores pueden procesar y analizar conjuntos de datos de movimiento rápido a gran escala.
Entonces, ¿es necesario que todos los fabricantes de IoT creen ellos mismos soluciones de datos relevantes? No necesariamente en la era de la computación en la nube, se pueden utilizar los recursos de los proveedores de servicios en la nube para reducir los costos relacionados, especialmente para las pequeñas empresas o las nuevas empresas.
Mike Kavis explicó recientemente su plan en la publicación de su blog "El Internet de las cosas cambiará completamente su estrategia de Big Data". Él cree:
"En la era del Internet de las cosas". Cosas, frente a los datos a nivel de petabytes, será difícil para las empresas completar la construcción de infraestructura por sí mismas. La gran cantidad de datos generados por Internet de las cosas no solo impulsará cambios fundamentales en los centros de datos actuales, sino que también impulsará a las empresas relacionadas. adoptar una nueva estrategia de big data Debido a la falta de habilidades relevantes y la demanda continua de adquisición de infraestructura de datos, las empresas abandonarán gradualmente el modelo de bricolaje y recurrirán a PaaS y soluciones alojadas, con la ayuda de bases de datos como servicio (como). Redshift de Amazon, Hortonworks y Hadoop de nivel empresarial de Cloudera), servicios gestionados de big data (como Treasure Data) y servicios de centros de datos matriciales (como GoGrid) para implementar sus propias soluciones de análisis de datos de IoT
En resumen , el valor del Internet de las cosas radica en los datos. Cuanto más rápido una empresa comience a analizar los datos, más valor comercial podrá descubrir. El propósito de los proveedores de servicios en la nube es eliminar los riesgos y la complejidad de la recopilación y gestión de datos. inversiones, para que los clientes puedan hacerlo. Céntrese en el análisis”.
Lo anterior es el contenido relevante compartido por el editor sobre la estrategia de big data en la era de Internet de las cosas. Para obtener más información, puede seguirlo. Global Ivy compartirá más información