En la era del big data, nos enfrentamos a siete grandes desafíos y ocho grandes tendencias
En la era del big data, nos enfrentamos a siete grandes retos y ocho grandes tendencias.
Los retos y oportunidades del big data coexisten. El desarrollo del big data en los próximos años será de. En la etapa de expansión esperada y la etapa de exageración en años anteriores, al ingresar a la etapa de desarrollo racional y aplicación práctica, big data ingresará gradualmente a la etapa de desarrollo racional en los próximos años. Aún quedan muchos desafíos para el desarrollo futuro del big data, pero las perspectivas siguen siendo muy optimistas.
Desafíos que enfrenta el desarrollo de big data
Actualmente, el desarrollo de big data todavía enfrenta muchos desafíos, incluidos siete desafíos principales: los departamentos comerciales no tienen necesidades claras de big data, lo que resulta en la pérdida gradual de activos de datos; los graves silos de datos dentro de la empresa impiden que el valor de los datos se explote por completo; la baja disponibilidad de los datos y la mala calidad de los datos impiden que se utilicen la tecnología y la arquitectura de gestión de datos; la incapacidad para procesar big data; las capacidades de seguridad de datos deficientes y la conciencia de prevención, lo que lleva a la fuga de datos, lo que dificulta el trabajo de big data, cuanto más abiertos son los big data, más valiosos son; pero la falta de políticas y regulaciones relacionadas con big data dificulta equilibrar la apertura y la privacidad de los datos y hacerlos más abiertos.
Desafío 1: los departamentos comerciales no tienen necesidades claras de big data
Muchos departamentos comerciales de empresas no comprenden big data ni comprenden los escenarios de aplicación y el valor de big data, por lo que Es difícil proponer necesidades precisas de big data. Dado que las necesidades del departamento comercial no están claras y el departamento de big data es un departamento sin fines de lucro, los tomadores de decisiones corporativas están preocupados por los costos de inversión relativamente altos, lo que ha llevado a muchas empresas a dudar a la hora de crear departamentos de big data, o muchas. Las empresas están en una actitud de esperar y ver y están ansiosas por intentarlo, lo que afecta fundamentalmente el desarrollo de las empresas en la dirección de big data y también impide que las empresas acumulen y extraigan sus propios activos de datos. En los escenarios de aplicación de datos, muchos datos históricos valiosos se eliminan, lo que resulta en datos empresariales Pérdida de activos. Por lo tanto, este aspecto requiere que los profesionales y expertos de Big Data trabajen juntos para promover y compartir escenarios de aplicaciones de Big Data para que más personal empresarial pueda comprender el valor de Big Data.
Desafío 2: Silos de datos serios dentro de las empresas
El desafío más importante para las empresas a la hora de desarrollar big data es la fragmentación de los datos. En muchas empresas, especialmente en las grandes, los datos a menudo están dispersos en diferentes departamentos y los datos existen en diferentes almacenes de datos. Además, es posible que diferentes departamentos no tengan la misma tecnología de datos, lo que resulta en la imposibilidad de conectar los datos dentro de la propia empresa. . Si los datos no están conectados, será difícil descubrir el valor del big data. Big data requiere la correlación e integración de diferentes datos para comprender mejor a los clientes y las empresas. Cómo conectar datos de diferentes departamentos y compartir tecnologías y herramientas para aprovechar mejor el valor del big data empresarial.
Desafío 3: Baja disponibilidad de datos y mala calidad de los datos
Muchas empresas grandes y medianas están generando grandes cantidades de datos en todo momento, pero muchas empresas no prestan atención a la situación previa. -Etapa de procesamiento de big data, lo que resulta en un procesamiento de datos muy irregular. La etapa de preprocesamiento de big data requiere extraer datos, convertirlos en tipos de datos que sean fáciles de procesar, limpiarlos y eliminarlos, y extraer datos efectivos. Incluso muchas empresas tienen muchas irregularidades y fenómenos irrazonables a la hora de informar datos. Todas las razones anteriores conducen a una escasa disponibilidad de datos, mala calidad de los datos y datos inexactos en las empresas. La importancia de los big data no es solo recopilar información de datos a gran escala, sino también realizar un buen preprocesamiento de los datos recopilados. Sólo entonces los analistas y mineros de datos pueden extraer información valiosa de los big data disponibles. Los datos de Sybase muestran que las aplicaciones de datos de alta calidad pueden mejorar significativamente el rendimiento empresarial de una empresa. Si la disponibilidad de datos aumenta en un 10%, el rendimiento de la empresa aumentará al menos en un 10%.
Desafío 4: Arquitectura y tecnología de gestión de datos
Los desafíos en la arquitectura técnica incluyen los siguientes puntos: (1) La implementación de bases de datos tradicionales no puede manejar terabytes de datos y el rápido crecimiento. La cantidad de datos excede las capacidades de gestión de las bases de datos tradicionales.
Cómo construir un almacén de datos distribuido y expandir fácilmente una gran cantidad de servidores se ha convertido en un desafío que enfrentan muchas empresas tradicionales (2) Cuando muchas empresas utilizan tecnología de bases de datos tradicionales, no consideran la diversidad de categorías de datos al comienzo del proceso; diseño, especialmente para estructuras, la compatibilidad de datos estructurados, datos semiestructurados y datos no estructurados (3) Las bases de datos empresariales tradicionales no requieren mucho tiempo para el procesamiento de datos y los resultados estadísticos de estos datos a menudo tienen que retrasarse; o dos días antes de que puedan calcularse. Pero los big data requieren procesamiento de datos en tiempo real y cálculos al minuto o incluso al segundo nivel. Los arquitectos de bases de datos tradicionales carecen de la capacidad de procesar datos en tiempo real; (4) Los datos masivos requieren una buena arquitectura de red y un centro de datos potente que los respalde, y la operación y el mantenimiento del centro de datos también se convertirán en un desafío. Cómo reducir la baja carga del servidor mientras se garantiza la estabilidad de los datos y se admite una alta concurrencia se ha convertido en una tarea clave para la operación y el mantenimiento de centros de datos masivos.
Desafío 5: Seguridad de los datos
La vida basada en Internet facilita que los delincuentes obtengan información de las personas. Hay más métodos delictivos que son difíciles de rastrear y prevenir, y es posible que se produzcan más delitos. ocurrir una estafa sofisticada. Cómo garantizar la seguridad de la información del usuario se ha convertido en un tema muy importante en la era del big data. Con cada vez más datos en Internet, las motivaciones criminales de los piratas informáticos son más fuertes que nunca. La filtración de información personal confidencial, como contraseñas de algunos sitios web conocidos, y el robo de datos de usuarios causado por vulnerabilidades del sistema nos han hecho darnos cuenta de la necesidad de fortalecer la construcción de seguridad de las redes de big data. Además, con el aumento continuo de big data, los requisitos de seguridad física para el almacenamiento de datos serán cada vez mayores, lo que planteará requisitos más altos para múltiples copias de datos y mecanismos de recuperación ante desastres. Actualmente, el estado de seguridad de los datos de muchas empresas tradicionales es preocupante.
Desafío 6: Falta de talentos en big data
Cada aspecto de la construcción de big data debe depender de talentos profesionales, por lo que es necesario cultivar y crear un equipo de personas que dominen. tecnología de big data y comprender el equipo de talentos profesionales de gestión y construcción de big data con experiencia en aplicaciones de big data. La actual falta de talentos relacionados con big data obstaculizará el desarrollo del mercado de big data. Según las predicciones de Gartner, para 2015 se crearán en todo el mundo 4,4 millones de nuevos puestos relacionados con big data y el 25% de las empresas establecerán el puesto de director de datos. Los puestos relacionados con big data requieren talentos con conocimientos integrales de matemáticas, estadística, análisis de datos, aprendizaje automático y procesamiento del lenguaje natural. En el futuro, habrá una brecha de talento de aproximadamente 1 millón en big data. Los talentos de big data de alto nivel en diversas industrias se convertirán en los talentos más populares, incluidos ingenieros de desarrollo de big data, analistas de big data, arquitectos de datos y big data. Ingenieros de desarrollo backend e ingenieros de algoritmos y otras direcciones. Por lo tanto, las universidades y las empresas deben cultivar y explorar conjuntamente. El mayor problema actual es que muchos colegios y universidades carecen de big data, por lo que las empresas con big data deberían cultivar talentos conjuntamente con las escuelas.
Desafío 7: Compensación entre apertura de datos y privacidad
A medida que las aplicaciones de big data se vuelven cada vez más importantes hoy en día, el desarrollo de recursos de datos se ha convertido en la clave para mantener una ventaja en los datos. guerra. . La aplicación de datos comerciales y datos personales**** no solo puede promover el desarrollo de industrias relacionadas, sino también brindar una gran comodidad a nuestras vidas. Debido a la falta de una planificación unificada para la construcción de sistemas de información gubernamentales, empresariales e industriales y a la falta de estándares unificados entre sistemas, se han formado muchas "islas de información" afectadas por monopolios administrativos e intereses comerciales, el grado de apertura de los datos es. bajo, lo que ha causado muchos problemas en el uso de datos. Gran obstáculo. Otro factor importante que restringe la apertura y el desarrollo de los recursos de datos en nuestro país son las políticas y regulaciones imperfectas y la falta de la correspondiente legislación sobre minería de big data. Es imposible asegurar el pleno disfrute y prevenir el abuso al mismo tiempo. Por lo tanto, establecer un ecosistema saludable de intercambio de datos es un obstáculo que debe superarse en el desarrollo de big data en China. Al mismo tiempo, cómo equilibrar la apertura y la privacidad es también el mayor problema al que se enfrenta el proceso de apertura de big data. Cómo proteger eficazmente la privacidad de los ciudadanos y las empresas al mismo tiempo que se promueve la total apertura, aplicación e intercambio de datos y se fortalece gradualmente la legislación sobre privacidad será un desafío importante en la era de los grandes datos.
La tendencia de desarrollo del big data
Aunque el big data todavía está en su infancia y enfrenta muchos desafíos, su desarrollo futuro sigue siendo muy optimista.
El desarrollo del big data presenta ocho tendencias principales: la utilización de recursos de datos se convertirá en el activo más valioso; el big data se implementará en la gestión empresarial en industrias más tradicionales; el big data se integrará con la inteligencia empresarial tradicional y surgirán soluciones personalizadas para la industria; los datos se volverán cada vez más abiertos, surgirán alianzas para compartir datos y la seguridad de los big data recibirá cada vez más atención, y el mercado de la seguridad de los big data será cada vez más importante y promoverá el desarrollo de ciudades inteligentes; el motor de las ciudades inteligentes; el big data generará una serie de nuevos empleos y las correspondientes profesiones; el big data mejorará nuestras vidas de muchas maneras.
Tendencia 1: la utilización de recursos de datos se convertirá en el activo más valioso
Con el desarrollo de aplicaciones de big data, el valor de big data puede reflejarse plenamente. En las empresas y la sociedad, el nivel se ha convertido en un recurso estratégico importante, y los datos se han convertido en las nuevas alturas de mando estratégico y el nuevo enfoque por el que todos pueden competir. En un informe titulado "Big Data, Big Impact", el Wall Street Journal promocionó que los datos se han convertido en una nueva clase de activos, como la moneda o el oro. Empresas como Google, Facebook, Amazon, Tencent, Baidu, Alibaba, 360 y otras están utilizando el poder del big data para lograr un mayor éxito empresarial, y las empresas financieras y de telecomunicaciones también están utilizando el big data para mejorar su competitividad. Tenemos motivos para creer que los macrodatos seguirán convirtiéndose en un activo y un arma poderosa para que las organizaciones y empresas mejoren su competitividad.
Tendencia 2: Aplicación del big data en la gestión empresarial en industrias más tradicionales
La aplicación de una nueva tecnología suele conseguir buenos resultados en unas pocas industrias y tiene un fuerte impacto en otras industrias efecto de demostración. En la actualidad, big data se ha aplicado bien en las grandes empresas de Internet y gradualmente ha logrado resultados en otras industrias, especialmente las telecomunicaciones, las finanzas y otros escenarios de aplicación. Por lo tanto, tenemos razones para creer que big data, como herramienta que utiliza datos para crear nuevo valor, se aplicará en empresas de muchas industrias y aportará un gran valor social. Big data ayudará a las empresas a comprender y satisfacer mejor las necesidades y necesidades potenciales de los clientes, y puede utilizarse mejor en el monitoreo inteligente de las operaciones comerciales, operaciones corporativas refinadas, gestión del ciclo de vida del cliente, marketing refinado, análisis operativo y análisis estratégico, etc. La gestión empresarial es a la vez artística y científica. Se cree que los big data desempeñarán un papel más importante en la promoción de la gestión empresarial científica, lo que permitirá que más empresas adopten los big data y realicen una gestión empresarial inteligente.
Tendencia 3: la integración de big data y la inteligencia empresarial tradicional conducirá al aumento de soluciones personalizadas para la industria
Los profesionales del campo de la inteligencia empresarial tradicional creen que el big data es un complemento a las fuentes de datos, y big data es un complemento de las fuentes de datos. Los profesionales de datos creen que la inteligencia empresarial tradicional es solo una forma de manejar pequeñas cantidades de datos en su campo. Los usuarios de big data prefieren soluciones globales, que no sólo puedan recopilar, procesar y analizar datos comerciales dentro de la empresa, sino también introducir datos no estructurados de Internet, como navegación web, Weibo e información. Además, también se espera que la información de ubicación de los dispositivos móviles se pueda combinar para permitir a las empresas formar una plataforma de desarrollo de valor de datos integral y completa. Después de todo, ya sea big data o inteligencia empresarial, el propósito es servir al análisis. La integración total de datos es más propicia para descubrir nuevas oportunidades comerciales. Esto es inteligencia empresarial de big data. Al mismo tiempo, debido a las diferencias industriales, es difícil desarrollar un sistema de análisis de inteligencia empresarial de big data adecuado para todas las industrias. Por lo tanto, en algunos mercados industriales más grandes, los proveedores de servicios de big data proporcionarán servicios de inteligencia empresarial más personalizados. . Creemos que aparecerán soluciones de inteligencia empresarial de big data más personalizadas en industrias como las telecomunicaciones, las finanzas y el comercio minorista.
Tendencia 4: los datos se volverán cada vez más abiertos y surgirán alianzas para compartir datos
Cuanto más fuerte sea la conectividad de big data, mayor será su valor y cuantos más datos, más Cuanto más abierto esté, mayor será su valor. Especialmente las instituciones públicas, las empresas y las empresas de Internet abrirán cada vez más sus datos. Hemos visto que los gobiernos de Estados Unidos, Gran Bretaña, Australia y otros países están trabajando arduamente para digitalizar el gobierno y los servicios públicos. Algunas ciudades y departamentos de mi país también están realizando paulatinamente trabajos de apertura de datos.
Por ejemplo, Beijing inició la operación de prueba de la red de recursos de datos del gobierno en 2012 y la inauguró oficialmente a fines de 2013; Shanghai lanzó un proyecto piloto para abrir los recursos de datos del gobierno en 2012. Los datos involucran ubicación geográfica, transporte, estadísticas económicas, calificaciones y otros datos; en 2014, la provincia de Guizhou también se unió a las filas de datos abiertos. En octubre, se lanzó oficialmente Guizhou Cloud. Para diferentes industrias, ****, cuantos más datos disfruten, mayor será el valor. Si cada hospital quiere obtener más bases de datos de características de enfermedades e información sobre la eficacia de los medicamentos, necesitará compartir información médica en todo el país o incluso en todo el mundo, para poder realizar análisis a través de la plataforma y obtener un mayor valor. Creemos que el intercambio de datos se convertirá en una tendencia y surgirán alianzas de datos en diferentes campos.
Tendencia 5: la seguridad de big data está recibiendo cada vez más atención y el mercado de seguridad de big data será cada vez más importante
A medida que el valor de los datos se vuelve cada vez más importante, La seguridad de los big data será cada vez más importante. La estabilidad también recibirá gradualmente más atención. Internet y la vida digital también han facilitado que los delincuentes obtengan información de otras personas, y se han producido más fraudes y delitos. Por lo tanto, en la era del big data, tanto la protección de los datos en sí como la seguridad de cierta información evolucionaron. La protección de datos y las altas demandas de análisis de big data serán fundamentales para las empresas. La seguridad de Big Data corresponde al negocio de Big Data. En comparación con la seguridad tradicional, la mayor diferencia entre la seguridad de Big Data es que lo primero que deben hacer los proveedores de seguridad cuando piensan en cuestiones de seguridad es realizar análisis comerciales y descubrir las amenazas a los negocios de Big Data. , y luego proponer soluciones específicas. Por ejemplo, para escenarios de almacenamiento de datos, muchas empresas utilizan actualmente software de código abierto, como la tecnología Hadoop, para resolver problemas de big data. Debido a su naturaleza de código abierto, sus problemas de seguridad también son destacados. Por lo tanto, el mercado necesita más proveedores de seguridad profesionales que brinden servicios profesionales para diferentes problemas de seguridad de big data.
Tendencia 6: Big data promueve el desarrollo de ciudades inteligentes y proporciona un motor para las ciudades inteligentes
Con el desarrollo de big data, big data jugará un papel cada vez más importante en las ciudades inteligentes . A medida que la aglomeración demográfica ejerce presión sobre las ciudades en materia de transporte, atención médica, construcción y otros aspectos, las ciudades deben poder diseñar y asignar recursos de manera más racional, y las ciudades inteligentes son la solución óptima para la transformación de la gobernanza urbana. Las ciudades inteligentes se basan en las capacidades de interconexión entre cosas, cosas y personas, personas y personas, capacidades de percepción integral y capacidades de utilización de la información, con la ayuda de tecnologías de la información de nueva generación como la Internet de las cosas, la Internet móvil y la computación en la nube para lograr una gestión eficiente y conveniente del gobierno de la ciudad, servicios de medios de vida y un desarrollo industrial sostenible. La mayor diferencia entre las ciudades inteligentes y los conceptos anteriores de ciudad digital radica en el procesamiento inteligente de la información obtenida por la capa de percepción. Desde la digitalización urbana hasta la inteligencia urbana, la clave es realizar un procesamiento inteligente de la información digital, cuyo núcleo es la introducción de tecnología de procesamiento de big data. Big data es el motor de inteligencia central de las ciudades inteligentes. La seguridad inteligente, el transporte inteligente, la atención médica inteligente, la gestión de ciudades inteligentes, etc. son campos de aplicación de ciudades inteligentes basados en big data.
Tendencia 7: Big data creará una serie de nuevos puestos y especialidades correspondientes
Con el surgimiento de una nueva industria, habrá una nueva demanda de empleos y el surgimiento de big data también se lanzarán una serie de nuevos puestos, como analistas de big data, expertos en gestión de datos, ingenieros de algoritmos de big data, gerentes de productos de datos, etc. Los talentos de análisis de datos con amplia experiencia se convertirán en un recurso escaso y los puestos basados en datos experimentarán un crecimiento explosivo. Debido a la fuerte demanda del mercado, los colegios y universidades abrirán gradualmente especialidades relacionadas con big data y cultivarán los talentos profesionales correspondientes. Las empresas también trabajarán estrechamente con las universidades para ayudarlas a cultivar conjuntamente talentos en big data. Por ejemplo, en 2014, IBM promovió de manera integral la cooperación con universidades en el campo de big data, introdujo fuertes equipos de I + D y socios comerciales, y promovió la cooperación y sistematización de innovación entre la industria, la universidad y la investigación, como la "plataforma de big data" y el "análisis de big data". "para la industria. Construcción de sistemas de conocimiento. Promover la cooperación en innovación entre la industria, la academia y la investigación sobre "plataforma de big data" y "análisis de big data" y la construcción de un sistema de conocimiento sistemático, promover el cultivo de talentos de alto valor, crear cursos de crédito relacionados con big data que cumplan con los requisitos de mi país. Características docentes y necesidades de talento, y hacer un buen trabajo en la construcción de carreras características.
Tendencia 8: Big data está mejorando nuestras vidas de muchas maneras
Big data no sólo se utiliza en las empresas y el gobierno, sino también en nuestras vidas. En términos de salud: podemos usar pulseras inteligentes para monitorear y rastrear nuestros patrones de sueño y comprender la calidad del sueño, podemos usar monitores inteligentes de presión arterial y monitores de frecuencia cardíaca inteligentes para monitorear de forma remota la salud de las personas mayores en sus hogares en lugares remotos, lo que permitirá a los trabajadores. en otros lugares para mayor tranquilidad en términos de viaje: podemos utilizar los datos del GPS de los viajes de navegación inteligente para comprender las condiciones del tráfico y optimizar las rutas en tiempo real en función de las condiciones de congestión. En términos de la vida hogareña: los macrodatos se convertirán en el núcleo de los hogares inteligentes. Los electrodomésticos inteligentes obtendrán inteligencia antropomórfica y procesarán información a través de sensores y chips de control. Pueden configurar controles automáticamente de acuerdo con el entorno del espacio residencial y las necesidades del usuario. Incluso proponer sugerencias de optimización de calidad de vida, como las que nuestro frigorífico podría sugerirnos cada mañana para nuestro día.
Lo anterior es lo que he compartido con ustedes sobre los siete desafíos principales y las ocho tendencias principales en la era del big data. Para obtener más información, puede seguir a Global Green Vine para compartir más información seca.