7 grandes desafíos y 8 grandes tendencias en la era del desarrollo del big data
Coexisten desafíos y oportunidades de big data En los próximos años, el desarrollo de big data pasará de la etapa anterior de expectativas infladas y exageraciones. Después de varios años de desarrollo racional y aplicación práctica, Big Data entrará gradualmente en un período de desarrollo racional en los próximos años. El desarrollo futuro del big data aún enfrenta muchos desafíos, pero las perspectivas siguen siendo muy optimistas.
Desafíos que enfrenta el desarrollo de big data
El desarrollo de big data todavía enfrenta muchos desafíos, incluidos siete desafíos principales: los departamentos corporativos no tienen necesidades claras de big data, lo que resulta en la pérdida gradual de activos de datos; el fenómeno de las islas de datos es grave, lo que resulta en la incapacidad de aprovechar plenamente el valor de los datos; la baja disponibilidad de datos y la mala calidad de los datos, lo que resulta en la incapacidad de utilizar tecnología de gestión relacionada con datos atrasados; la arquitectura, lo que resulta en capacidades insuficientes de procesamiento de big data; capacidades deficientes de seguridad de datos y conciencia de prevención, lo que resulta en fugas de datos; la falta de talentos en big data dificulta el trabajo de big data, cuanto más abiertos son, más valiosos son; Lo es, pero la falta de políticas y regulaciones relacionadas con big data dificulta equilibrar la apertura y la privacidad de los datos y hacerlos más abiertos.
gt;gt;gt;gt; Desafío 1: Los departamentos comerciales no tienen necesidades claras de big data
Muchos departamentos comerciales no entienden big data ni entienden big data. Escenarios y valores de aplicación, por lo que es difícil presentar requisitos precisos de big data. Dado que las necesidades del departamento comercial no están claras y el departamento de big data es un departamento sin fines de lucro, los tomadores de decisiones corporativas están preocupados por los costos de inversión relativamente altos, lo que ha llevado a muchas empresas a dudar a la hora de crear departamentos de big data, o muchas. Las empresas están en una actitud de esperar y ver y están ansiosas por intentarlo, lo que afecta fundamentalmente el desarrollo de las empresas en la dirección de big data y también impide que las empresas acumulen y extraigan sus propios activos de datos. En los escenarios de aplicación de datos, se eliminan muchos datos históricos valiosos, lo que provoca la pérdida de activos de los datos empresariales. Por lo tanto, este aspecto requiere que los profesionales y expertos de Big Data trabajen juntos para promover y compartir escenarios de aplicaciones de Big Data para que más personal empresarial pueda comprender el valor de Big Data.
gt;gt;gt;gt; Desafío 2: Silos de datos serios dentro de las empresas
El desafío más importante para las empresas a la hora de desarrollar big data es la fragmentación de los datos. En muchas empresas, especialmente en las grandes, los datos a menudo están dispersos en diferentes departamentos y estos datos existen en diferentes almacenes de datos. Las tecnologías de datos de diferentes departamentos pueden ser diferentes, lo que resulta en la imposibilidad de conectar los datos dentro de la propia empresa. Si los datos no están conectados, será difícil descubrir el valor del big data. Big data requiere la correlación e integración de diferentes datos para comprender mejor a los clientes y las empresas. Cómo conectar datos de diferentes departamentos y compartir tecnologías y herramientas para aprovechar mejor el valor del big data empresarial.
gt;gt;gt;gt;gt;Desafío 3: Baja disponibilidad de datos y mala calidad de los datos
Muchas empresas grandes y medianas también generan grandes cantidades de datos en todo momento. pero muchas empresas no prestan atención a la etapa de preprocesamiento de big data, lo que resulta en un procesamiento de datos muy irregular. La etapa de preprocesamiento de big data requiere extraer datos, convertirlos en tipos de datos que sean fáciles de procesar, limpiarlos y eliminarlos, y extraer datos efectivos. Incluso existen muchas irregularidades y situaciones irrazonables en el proceso de presentación de datos de muchas empresas. Todas las razones anteriores conducen a una escasa disponibilidad de datos, mala calidad de los datos y datos inexactos en las empresas. La importancia de los big data no es solo recopilar información de datos a gran escala, sino también realizar un buen preprocesamiento de los datos recopilados. Sólo entonces los analistas y mineros de datos pueden extraer información valiosa de los big data disponibles. Los datos de Sybase muestran que las aplicaciones de datos de alta calidad pueden mejorar significativamente el rendimiento empresarial de una empresa. Cuando la disponibilidad de datos aumenta en un 10%, el rendimiento empresarial aumenta al menos en un 10%.
gt;gt;gt;gt; Desafío 4: Arquitectura y tecnología de gestión de datos
Los desafíos en la arquitectura técnica incluyen los siguientes puntos: (1) Implementación de bases de datos tradicionales Incapaz de manejar terabytes de datos, la cantidad de datos en rápido crecimiento excede las capacidades de gestión de las bases de datos tradicionales.
Cómo construir un almacén de datos distribuido y expandir fácilmente una gran cantidad de servidores se ha convertido en un desafío que enfrentan muchas empresas tradicionales (2) Cuando muchas empresas utilizan tecnología de bases de datos tradicionales, no consideran la diversidad de categorías de datos al comienzo del proceso; diseño, especialmente para compatibilidad de datos estructurados, datos semiestructurados y datos no estructurados (3) Las bases de datos empresariales tradicionales no requieren mucho tiempo para el procesamiento de datos y los resultados estadísticos de estos datos a menudo tardan uno o dos días en aparecer; se puede contar. Sin embargo, big data requiere procesamiento de datos en tiempo real, cálculos a nivel de minutos o incluso de segundo nivel. Los arquitectos de bases de datos tradicionales carecen de la capacidad de procesar datos en tiempo real; (4) Los datos masivos requieren una buena arquitectura de red y un centro de datos potente que los respalde, y la operación y el mantenimiento del centro de datos también se convertirán en un desafío. Cómo garantizar la estabilidad de los datos mientras se admite una alta concurrencia y se reduce la baja carga del servidor se ha convertido en una tarea clave en la operación y mantenimiento de centros de datos masivos.
gt;gt;gt;gt; Desafío 5: Seguridad de los datos
La vida basada en Internet facilita a los delincuentes obtener información de las personas, lo que dificulta el seguimiento y la prevención de delitos. También pueden aparecer engaños cada vez más sofisticados. Cómo garantizar la seguridad de la información del usuario se ha convertido en un tema muy importante en la era del big data. Con cada vez más datos en Internet, las motivaciones criminales de los piratas informáticos son más fuertes que nunca. La filtración de información personal confidencial, como contraseñas de algunos sitios web conocidos, y el robo de datos de usuarios causado por vulnerabilidades del sistema nos han hecho darnos cuenta de la necesidad de fortalecer la construcción de seguridad de las redes de big data. Además, con el aumento continuo de big data, los requisitos de seguridad física para el almacenamiento de datos serán cada vez mayores, lo que planteará requisitos más altos para múltiples copias de datos y mecanismos de recuperación ante desastres. Actualmente, el estado de seguridad de los datos de muchas empresas tradicionales es preocupante.
gt;gt;gt;gt;gt; Desafío 6: Falta de talentos en big data
Cada aspecto de la construcción de big data necesita depender de talentos profesionales, por lo que es necesario Cultive y cree un equipo de profesionales de la construcción de big data que dominen la tecnología de big data, comprendan la gestión de big data y tengan experiencia en aplicaciones de big data. La actual falta de talentos relacionados con big data obstaculizará el desarrollo del mercado de big data. Según las predicciones de Gartner, para 2015 se crearán en todo el mundo 4,4 millones de nuevos puestos relacionados con big data y el 25% de las empresas establecerán el puesto de director de datos. Los puestos relacionados con big data requieren talentos con conocimientos integrales de matemáticas, estadística, análisis de datos, aprendizaje automático y procesamiento del lenguaje natural. En el futuro, habrá una brecha de talento de aproximadamente 1 millón en big data. Los talentos de big data de alto nivel en diversas industrias se convertirán en los talentos más populares, incluidos ingenieros de desarrollo de big data, analistas de big data, arquitectos de datos y big data. Ingenieros de desarrollo backend e ingenieros de algoritmos y otras direcciones. Por lo tanto, las universidades y las empresas deben cultivar y explorar conjuntamente. El mayor problema actual es que muchos colegios y universidades carecen de big data, por lo que las empresas con big data deberían cultivar talentos conjuntamente con las escuelas.
gt;gt;gt;gt;gt;gt;gt; Desafío 7: Compensación entre apertura de datos y privacidad
Hoy en día, a medida que la importancia de las aplicaciones de big data es cada vez mayor destacado, El intercambio abierto de recursos de datos se ha convertido en la clave para mantener una ventaja en la guerra de los datos. La aplicación de intercambio directo de datos comerciales y personales no solo puede promover el desarrollo de industrias relacionadas, sino que también brinda una gran comodidad a nuestras vidas. Debido a la falta de una planificación unificada para la construcción de sistemas de información gubernamentales, empresariales e industriales y a la falta de estándares unificados entre sistemas, se han formado muchas "islas de información" afectadas por monopolios administrativos e intereses comerciales, el grado de apertura de los datos es. bajo, lo que ha causado muchos problemas en el uso de datos. Gran obstáculo. Otro factor importante que restringe la apertura y el desarrollo de los recursos de datos en nuestro país son las políticas y regulaciones imperfectas y la falta de la correspondiente legislación sobre minería de big data. Es imposible proteger su disfrute y prevenir el abuso al mismo tiempo. Por lo tanto, establecer un ecosistema saludable de intercambio de datos es un obstáculo que debe superarse en el desarrollo de big data en China. Al mismo tiempo, cómo equilibrar la apertura y la privacidad es también el mayor problema al que se enfrenta el proceso de apertura de big data. Cómo proteger eficazmente la privacidad de los ciudadanos y las empresas al mismo tiempo que se promueve la total apertura, aplicación e intercambio de datos y se fortalece gradualmente la legislación sobre privacidad será un desafío importante en la era de los big data.
La tendencia de desarrollo del big data
Aunque el big data todavía está en su infancia y enfrenta muchos desafíos, su desarrollo futuro sigue siendo muy optimista. El desarrollo de big data presenta ocho tendencias principales: los recursos de datos son abundantes y se convertirán en el activo más valioso; los big data se implementan en la gestión empresarial en industrias más tradicionales; los big data se integran con la inteligencia empresarial tradicional y aparecerán soluciones personalizadas para la industria; los datos se volverán cada vez más abiertos y surgirán alianzas para compartir datos; la seguridad de los big data recibirá cada vez más atención, y el mercado de la seguridad de los big data será cada vez más importante y promoverá el desarrollo de ciudades inteligentes; el motor de las ciudades inteligentes; el big data generará una serie de nuevos empleos y las correspondientes profesiones; el big data mejorará nuestras vidas de muchas maneras.
gt;gt;gt;gt; Tendencia 1: la utilización de recursos de datos se convertirá en el activo más valioso
Con el desarrollo de aplicaciones de big data, el valor de big data se puede aprovechar al máximo. realizado Refleja que big data se ha convertido en un recurso estratégico importante a nivel empresarial y social, y que los datos se han convertido en las nuevas alturas de mando estratégico y el nuevo enfoque para todos. En un informe titulado "Big Data, Big Impact", el Wall Street Journal promocionó que los datos se han convertido en una nueva clase de activos, como la moneda o el oro. Empresas como Google, Facebook, Amazon, Tencent, Baidu, Alibaba, 360 y otras están utilizando el poder del big data para lograr un mayor éxito empresarial, y las empresas financieras y de telecomunicaciones también están utilizando el big data para mejorar su competitividad. Tenemos motivos para creer que el big data seguirá siendo un activo para las organizaciones y empresas, así como un arma poderosa para mejorar su competitividad.
gt;gt;gt;gt;Tendencia 2: Big data se implementa en la gestión empresarial en industrias más tradicionales
La aplicación de una nueva tecnología a menudo logra buenos resultados en unas pocas industrias , que tiene un fuerte efecto de demostración en otras industrias. En la actualidad, big data se ha aplicado bien en las grandes empresas de Internet y gradualmente ha logrado resultados en otras industrias, especialmente las telecomunicaciones, las finanzas y otros escenarios de aplicación. Por lo tanto, tenemos razones para creer que big data, como herramienta que utiliza datos para crear nuevo valor, se aplicará en empresas de muchas industrias y aportará un gran valor social. Big data ayudará a las empresas a comprender y satisfacer mejor las necesidades y necesidades potenciales de los clientes, y puede utilizarse mejor en el monitoreo inteligente de las operaciones comerciales, operaciones corporativas refinadas, gestión del ciclo de vida del cliente, marketing refinado, análisis operativo y análisis estratégico, etc. La gestión empresarial es a la vez artística y científica. Se cree que los big data desempeñarán un papel más importante en la promoción de la gestión empresarial científica, lo que permitirá que más empresas adopten los big data y realicen una gestión empresarial inteligente.
gt; gt; gt; Tendencia 3: De la integración de big data y la inteligencia empresarial tradicional, surgirán soluciones personalizadas para la industria.
Desde la perspectiva de la inteligencia empresarial tradicional, habrá be Data sirve como una fuente complementaria de datos y los profesionales de big data creen que la inteligencia empresarial tradicional es solo una forma de manejar pequeñas cantidades de datos en el campo. Los usuarios de big data prefieren soluciones globales, que no sólo puedan recopilar, procesar y analizar datos comerciales dentro de la empresa, sino también introducir datos no estructurados de Internet, como navegación web, Weibo y mensajes de texto. Además, también se espera que la información de ubicación de los dispositivos móviles se pueda combinar para permitir a las empresas formar una plataforma de desarrollo de valor de datos integral y completa. Después de todo, ya sea big data o inteligencia empresarial, el propósito es servir al análisis. La integración total de datos es más propicia para descubrir nuevas oportunidades comerciales. Esto es inteligencia empresarial de big data. Al mismo tiempo, debido a las diferencias industriales, es difícil desarrollar un sistema de análisis de inteligencia empresarial de big data adecuado para todas las industrias. Por lo tanto, en algunos mercados industriales más grandes, los proveedores de servicios de big data proporcionarán servicios de inteligencia empresarial más personalizados. . Creemos que aparecerán soluciones de inteligencia empresarial de big data más personalizadas en industrias como las telecomunicaciones, las finanzas y el comercio minorista.
gt; La apertura es más valiosa. Especialmente los datos de instituciones públicas, empresas y empresas de Internet serán cada vez más abiertos. Hemos visto que los gobiernos de Estados Unidos, Gran Bretaña, Australia y otros países están trabajando arduamente para digitalizar el gobierno y las instituciones públicas.
Algunas ciudades y departamentos de mi país también están realizando paulatinamente trabajos de apertura de datos. Por ejemplo, Beijing inició la operación de prueba de la red de recursos de datos del gobierno en 2012 y la inauguró oficialmente a fines de 2013; Shanghai lanzó un proyecto piloto para abrir los recursos de datos del gobierno en 2012, abriendo datos relevantes como la ubicación geográfica, el transporte, estadísticas económicas y calificaciones En 2014, la provincia de Guizhou también se unió a las filas de los datos abiertos y en octubre se lanzó oficialmente "Guizhou en la nube". Para diferentes industrias, cuanto más completos sean los datos, más valiosos serán. Si cada hospital quiere obtener más bases de datos de características de enfermedades e información sobre la eficacia de los medicamentos, entonces necesita recopilar información médica nacional o incluso global y analizarla a través de la plataforma para obtener un mayor valor. Creemos que el intercambio sexual de datos se convertirá en una tendencia y también surgirán alianzas de datos en diferentes campos.
gt;gt;gt;gt;Tendencia 5: La seguridad de big data está recibiendo cada vez más atención y el mercado de seguridad de big data será cada vez más importante
A medida que el valor de datos se vuelve cada vez más importante. Es importante destacar que la seguridad y estabilidad de big data también recibirán atención gradualmente. Internet y la vida digital también han facilitado que los delincuentes obtengan información de otras personas y, por lo tanto, se han producido más fraudes y delitos en la era del big data, ya sea la protección de los datos en sí o alguna información evolucionada a partir de ellos. datos, La seguridad y los altos requisitos para el análisis de big data serán cruciales para las empresas. La seguridad de Big Data corresponde al negocio de Big Data. En comparación con la seguridad tradicional, la mayor diferencia entre la seguridad de Big Data es que lo primero que deben hacer los proveedores de seguridad cuando piensan en cuestiones de seguridad es realizar análisis comerciales y descubrir las amenazas a los negocios de Big Data. , y luego proponer soluciones específicas. Por ejemplo, para escenarios de almacenamiento de datos, muchas empresas utilizan actualmente software de código abierto, como la tecnología Hadoop, para resolver problemas de big data. Debido a su naturaleza de código abierto, sus problemas de seguridad también son destacados. Por lo tanto, el mercado necesita más proveedores de seguridad profesionales que brinden servicios profesionales para diferentes problemas de seguridad de big data.
gt;gt;gt;gt;Tendencia 6: Big data promueve el desarrollo de ciudades inteligentes y sirve como motor para las ciudades inteligentes
Con el desarrollo de big data, big data desempeñará un papel importante en las ciudades inteligentes que juegan un papel cada vez más importante. A medida que la aglomeración demográfica ejerce presión sobre las ciudades en materia de transporte, atención médica, construcción y otros aspectos, las ciudades deben poder diseñar y asignar recursos de manera más racional, y las ciudades inteligentes son la solución óptima para la transformación de la gobernanza urbana. Las ciudades inteligentes se basan en las capacidades de interconexión entre cosas, cosas y personas, personas y personas, capacidades de percepción integral y capacidades de utilización de la información, con la ayuda de tecnologías de la información de nueva generación como la Internet de las cosas, la Internet móvil y la computación en la nube para lograr una gestión eficiente y conveniente del gobierno de la ciudad, servicios de medios de vida y un desarrollo industrial sostenible. La mayor diferencia entre las ciudades inteligentes y los conceptos anteriores de ciudad digital radica en el procesamiento inteligente de la información obtenida por la capa de percepción. Desde la digitalización urbana hasta la inteligencia urbana, la clave es realizar un procesamiento inteligente de la información digital, cuyo núcleo es la introducción de tecnología de procesamiento de big data. Big data es el motor de inteligencia central de las ciudades inteligentes. La seguridad inteligente, el transporte inteligente, la atención médica inteligente, la gestión de ciudades inteligentes, etc. son campos de aplicación de ciudades inteligentes basados en big data.
gt;gt;gt;gt;Tendencia 7: Big data creará una serie de nuevos puestos de trabajo y sus correspondientes especialidades
El surgimiento de una nueva industria creará nuevos puestos de trabajo Demanda, la La aparición de big data también creará una serie de nuevos puestos, como analistas de big data, expertos en gestión de datos, ingenieros de algoritmos de big data, gerentes de productos de datos, etc. Los talentos de análisis de datos con amplia experiencia se convertirán en un recurso escaso y los puestos basados en datos experimentarán un crecimiento explosivo. Debido a la fuerte demanda del mercado, los colegios y universidades abrirán gradualmente especialidades relacionadas con big data y cultivarán los talentos profesionales correspondientes. Las empresas también trabajarán estrechamente con las universidades para ayudarlas a cultivar conjuntamente talentos en big data. Por ejemplo, en 2014, IBM promovió de manera integral la cooperación con universidades en el campo de big data, introdujo fuertes equipos de I + D y socios comerciales, y promovió la cooperación y sistematización de innovación entre la industria, la universidad y la investigación, como la "plataforma de big data" y el "análisis de big data". "para la industria. Construcción de sistemas de conocimiento.
Promover la cooperación industria-universidad-investigación y la construcción sistemática de sistemas de conocimiento de "plataforma de big data" y "análisis de big data", promover el cultivo de talentos de alto valor y crear cursos de créditos relacionados con big data que satisfagan las características docentes y las necesidades de talento de mi país. y prepárese para la construcción profesional.
gt;gt;gt;gt; Tendencia 8: Big data está mejorando nuestras vidas de muchas maneras
Big data no sólo se utiliza en las empresas y el gobierno, sino también en nuestras vidas . En términos de salud: podemos usar pulseras inteligentes para monitorear y rastrear nuestros patrones de sueño y comprender la calidad del sueño, podemos usar monitores de presión arterial inteligentes y monitores de frecuencia cardíaca inteligentes para monitorear de forma remota la salud de las personas mayores en casa en otros lugares; las personas que trabajan en otros lugares pueden Los usuarios pueden sentirse más cómodos en términos de viaje: podemos utilizar los datos del GPS de los viajes de navegación inteligente para comprender la situación del tráfico y optimizar las rutas en tiempo real en función de las condiciones de congestión. En términos de la vida hogareña: los macrodatos se convertirán en el núcleo de los hogares inteligentes. Los productos domésticos inteligentes obtienen inteligencia antropomórfica y procesan información a través de sensores y chips de control. Pueden configurar controles automáticamente de acuerdo con el entorno del espacio residencial y las necesidades del usuario. Incluso proponer sugerencias de optimización de la calidad de vida, como que nuestro frigorífico nos recomiende las recetas del día cada mañana temprano.