Código fuente de Qingteng Qizhi
Coexisten retos y oportunidades del big data. En los próximos años, el desarrollo de big data pasará de la etapa de expansión esperada y de exageración de años anteriores a la etapa de desarrollo racional y de aplicación práctica. En los próximos años, los big data entrarán gradualmente en un período de desarrollo racional. Todavía quedan muchos desafíos en el desarrollo futuro del big data, pero las perspectivas siguen siendo muy optimistas. ?
Desafíos en el desarrollo de big data
En la actualidad, el desarrollo de big data todavía enfrenta muchos desafíos, incluidos siete desafíos principales: los departamentos comerciales no tienen necesidades claras de big data, lo que resulta en la pérdida gradual de activos de datos; los graves silos de datos internos conducen a una extracción insuficiente del valor de los datos y la mala calidad de los datos hace que la tecnología y la arquitectura de gestión de datos atrasadas resulten en capacidades insuficientes de procesamiento de big data; Las capacidades de seguridad de los datos y la concienciación sobre la prevención conducen a la fuga de datos. Falta talento en big data, lo que dificulta el trabajo de big data, cuanto más abiertos son los big data, más valiosos son. La falta de políticas y regulaciones relacionadas con big data dificulta equilibrar la apertura y la privacidad de los datos y hacerlos más abiertos.
Reto 1: El departamento de negocio no tiene claras las necesidades de big data.
Muchos departamentos empresariales no comprenden big data y no comprenden los escenarios de aplicación y el valor de big data, por lo que es difícil presentar requisitos precisos para big data. Dado que las necesidades del departamento comercial no están claras y el departamento de big data es un departamento sin fines de lucro, los tomadores de decisiones corporativas están preocupados por el costo relativamente alto, lo que ha llevado a muchas empresas a dudar a la hora de crear departamentos de big data, o a muchas. Las empresas se encuentran en un estado de espera, lo que afecta fundamentalmente a las empresas. El desarrollo en la dirección de big data también impide que las empresas acumulen y extraigan sus propios activos de datos. Incluso porque los datos no tienen escenarios de aplicación, se eliminan muchos datos históricos valiosos, lo que resulta en la pérdida de activos de datos empresariales. Por lo tanto, los profesionales y expertos de big data deben trabajar juntos para promover y compartir escenarios de aplicaciones de big data para que más empresarios comprendan el valor de big data.
Desafío 2: Islas de datos serias dentro de la empresa
El mayor desafío para las empresas al lanzar big data es la fragmentación de los datos. En muchas empresas, especialmente en las grandes, los datos a menudo están dispersos en diferentes departamentos. Estos datos existen en diferentes almacenes de datos. Las tecnologías de datos de diferentes departamentos pueden ser diferentes, lo que hace imposible conectar sus propios datos. Sin acceso a estos datos, será difícil aprovechar el valor del big data. Big data requiere la correlación e integración de diferentes datos para aprovechar la comprensión de los clientes y las empresas. Cómo conectar datos de diferentes departamentos y compartir tecnologías y herramientas podemos aprovechar mejor el valor del big data empresarial.
Reto 3: Baja disponibilidad de datos y mala calidad de los datos.
Muchas empresas medianas y grandes también generan grandes cantidades de datos en todo momento, pero muchas empresas no prestan suficiente atención a la etapa de preprocesamiento de big data, lo que resulta en un procesamiento de datos irregular. En la etapa de preprocesamiento de big data, es necesario extraer datos, convertirlos en un tipo de datos que sea fácil de procesar, limpiar y eliminar el ruido de los datos y extraer datos efectivos. Incluso muchas empresas tienen muchas irregularidades y situaciones irrazonables a la hora de comunicar datos. Las razones anteriores conducen a una disponibilidad deficiente, una calidad de datos deficiente y datos empresariales inexactos. La importancia de big data no es solo recopilar información de datos a gran escala, sino también preprocesar los datos recopilados para que los analistas y mineros de datos puedan extraer información valiosa de big data de alta disponibilidad. Los datos de Sybase muestran que la aplicación de datos de alta calidad puede mejorar significativamente el rendimiento empresarial de una empresa. La disponibilidad de los datos se puede aumentar en un 10% y el rendimiento empresarial se puede mejorar en al menos un 10%.
Desafío 4: Arquitectura y tecnología de gestión de datos
Los desafíos de la arquitectura técnica incluyen los siguientes aspectos: (1) La implementación de bases de datos tradicionales no puede manejar terabytes de datos y el rápido crecimiento Los datos superan las capacidades de gestión de las bases de datos tradicionales. Cómo construir un almacén de datos distribuido y expandir fácilmente una gran cantidad de servidores se ha convertido en un desafío al que se enfrentan muchas empresas tradicionales. (2) Muchas empresas utilizan tecnología de bases de datos tradicionales y no consideran la diversidad de categorías de datos al comienzo del diseño, especialmente la compatibilidad de datos estructurados, datos semiestructurados y datos no estructurados (3) La base de datos de las empresas tradicionales tiene La; El tiempo de procesamiento de datos no es alto y los resultados estadísticos de estos datos a menudo se calculan después de uno o dos días. Pero los big data requieren procesamiento de datos en tiempo real y cálculos en el nivel de un minuto o incluso de un segundo nivel. Los arquitectos de bases de datos tradicionales carecen de capacidades de procesamiento de datos en tiempo real; (4) Los datos masivos requieren una buena arquitectura de red y un centro de datos potente que los respalde, y la operación y el mantenimiento del centro de datos también se convertirán en un desafío.
Cómo reducir la carga del servidor mientras se garantiza la estabilidad de los datos y se admite una alta concurrencia se ha convertido en una tarea clave en la operación y mantenimiento de centros de datos masivos.
Desafío 5: Seguridad de los datos
La vida en línea facilita que los delincuentes obtengan información de las personas. Hay más métodos delictivos que no son fáciles de rastrear y prevenir, y es posible que los haya. estafas más inteligentes. Cómo garantizar la seguridad de la información del usuario se ha convertido en una cuestión muy importante en la era del big data. Con cada vez más datos en línea, los incentivos para que los piratas informáticos cometan delitos son más fuertes que nunca. La filtración de contraseñas en algunos sitios web conocidos y la filtración de información personal confidencial, como vulnerabilidades del sistema que conducen al robo de datos de los usuarios, nos han alertado para fortalecer la construcción de seguridad de la red de big data. Además, con el aumento de big data, los requisitos de seguridad física para el almacenamiento de datos serán cada vez mayores, lo que también plantea requisitos más altos para múltiples copias de datos y mecanismos de recuperación ante desastres. En la actualidad, la seguridad de los datos de muchas empresas tradicionales es preocupante.
Desafío 6: Falta de talentos en big data
Cada aspecto de la construcción de big data requiere que los completen profesionales. Por lo tanto, es necesario cultivar y crear un equipo profesional de construcción de big data con experiencia en tecnología, gestión y aplicación de big data. La actual falta de talentos relacionados con big data obstaculizará el desarrollo del mercado de big data. Según las previsiones de Gartner, para 2015 se crearán en todo el mundo 4,4 millones de puestos de trabajo relacionados con big data y el 25% de las organizaciones establecerán el puesto de director de datos. Los puestos relacionados con big data requieren talentos integrales que puedan controlar de manera integral las matemáticas, la estadística, el análisis de datos, el aprendizaje automático y el procesamiento del lenguaje natural. En el futuro, habrá una brecha de talento de aproximadamente 654,38 millones en big data. Los talentos de big data de nivel medio a alto se convertirán en los talentos más populares en diversas industrias, incluidos ingenieros de desarrollo de datos, analistas de big data, arquitectos de datos, ingenieros de desarrollo de backend de big data e ingenieros de algoritmos Espere en múltiples direcciones. Por lo tanto, las universidades y las empresas deben trabajar juntas para cultivar y explorar. El mayor problema actual es que muchas facultades y universidades carecen de big data. Las empresas con big data deben cultivar talentos conjuntamente con las escuelas.
Desafío 7: Compensación entre divulgación de datos y privacidad
En el mundo actual, donde las aplicaciones de big data son cada vez más importantes, abrir y compartir recursos de datos se ha convertido en una forma para mantener una ventaja en la guerra de datos. La aplicación de datos comerciales y datos personales no solo puede promover el desarrollo de industrias relacionadas, sino también brindar una gran comodidad a nuestras vidas. Debido a la falta de planificación y estándares unificados para la construcción de sistemas de información gubernamentales, empresariales e industriales, se han formado muchas "islas de información" restringidas por monopolios administrativos e intereses comerciales, lo que ha provocado un bajo grado de apertura de datos. grandes obstáculos para la utilización de datos. Otro factor importante que restringe la apertura y el intercambio de recursos de datos en nuestro país son las políticas y regulaciones imperfectas y la falta de legislación correspondiente para la minería de big data. Es imposible garantizar **el disfrute y prevenir el abuso. Por lo tanto, establecer un ecosistema saludable de intercambio de datos es un gran paso adelante para el desarrollo de datos nacionales de China. Al mismo tiempo, cómo equilibrar la apertura y la privacidad es también el mayor problema en el proceso de apertura de big data. Cómo proteger eficazmente la privacidad de los ciudadanos y las empresas, promoviendo al mismo tiempo la total apertura, aplicación y disfrute de los datos, y fortaleciendo gradualmente la legislación sobre privacidad, será un desafío importante en la era del big data.
La tendencia de desarrollo del big data
Aunque el big data todavía está en su infancia y existen muchos desafíos, el desarrollo futuro sigue siendo muy optimista. El desarrollo de big data presenta ocho tendencias principales: los recursos de datos se convertirán en los activos más valiosos; big data se implementará en la gestión empresarial en industrias más tradicionales; con la integración de big data y la inteligencia empresarial tradicional, surgirán soluciones de datos personalizadas; se volverá cada vez más abierto y surgirán alianzas para compartir datos. La seguridad de big data recibirá cada vez más atención y el mercado de seguridad de big data será cada vez más importante para promover el desarrollo de ciudades inteligentes; las ciudades inteligentes; los macrodatos darán lugar a nuevos puestos de trabajo y se crearán las carreras correspondientes; los macrodatos están mejorando nuestras vidas de muchas maneras.
Tendencia 1: Los recursos de datos se convertirán en el activo más valioso.
Con el desarrollo de aplicaciones de big data, el valor de big data puede reflejarse plenamente. Big data se ha convertido en un importante recurso estratégico a nivel empresarial y social. Los datos se han convertido en las nuevas alturas de mando estratégico y el nuevo foco de competencia para todos. En un informe titulado “Big Data, Big Impact”, el Wall Street Journal declara que los datos se han convertido en una nueva clase de activos, como el dinero o el oro. Empresas como Google, Facebook, Amazon, Tencent, Baidu, Alibaba y 360 están utilizando big data para lograr un mayor éxito empresarial, y las empresas financieras y de telecomunicaciones también están utilizando big data para mejorar su competitividad.
Tenemos motivos para creer que los macrodatos seguirán convirtiéndose en un activo para las instituciones y empresas y en un arma poderosa para mejorar la competitividad.
Tendencia 2: El big data se gestiona en industrias más tradicionales.
Una nueva tecnología a menudo se aplica en unas pocas industrias y logra buenos resultados, y tiene un fuerte efecto de demostración en otras industrias. En la actualidad, big data se ha aplicado bien en las grandes empresas de Internet, y big data en otras industrias, especialmente las telecomunicaciones y las finanzas, ha logrado resultados gradualmente en varios escenarios de aplicación. Por lo tanto, tenemos razones para creer que los big data, como herramienta para crear nuevo valor a partir de los datos, se aplicarán en empresas de muchas industrias y aportarán un gran valor social. Los macrodatos ayudarán a las empresas a comprender y satisfacer mejor las necesidades y necesidades potenciales de los clientes, y se aplicarán mejor al monitoreo inteligente de las operaciones comerciales, las operaciones empresariales refinadas, la gestión del ciclo de vida del cliente, el marketing refinado, el análisis comercial y el análisis estratégico. La gestión empresarial es a la vez un arte y una ciencia. Se cree que big data tendrá un efecto de promoción más significativo en la gestión científica de las empresas, permitiendo que más empresas que adopten big data realicen una gestión empresarial inteligente.
Tendencia 3: La integración de big data y la inteligencia empresarial tradicional conducirá al surgimiento de soluciones personalizadas para la industria.
Las personas en el campo de la inteligencia empresarial tradicional consideran los big data como una nueva fuente de datos, mientras que los profesionales de big data creen que la inteligencia empresarial tradicional es solo un método cuando se trata de pequeñas cantidades de datos en su campo. Los usuarios de big data esperan una solución holística, es decir, no solo recopilar, procesar y analizar datos comerciales dentro de la empresa, sino también introducir datos no estructurados como la navegación web, Weibo y WeChat en Internet. Además, esperamos combinar la información de ubicación de los dispositivos móviles para permitir a las empresas formar una plataforma de desarrollo de valor de datos integral y completa. Después de todo, ya sea big data o inteligencia empresarial, el propósito es servir al análisis y la integración integral de datos es más propicia para descubrir nuevas oportunidades comerciales. Esto es inteligencia empresarial de big data. Al mismo tiempo, debido a las diferencias entre industrias, es difícil desarrollar un sistema de análisis de inteligencia empresarial de big data adecuado para diversas industrias. Por lo tanto, en algunos mercados industriales a gran escala, los proveedores de servicios de big data proporcionarán soluciones de inteligencia empresarial más personalizadas para servicios de big data. Creemos que aparecerán más soluciones personalizadas de inteligencia empresarial de big data en industrias como las telecomunicaciones, las finanzas y el comercio minorista.
Tendencia 4: Los datos serán cada vez más abiertos y surgirán alianzas para compartir datos.
Cuanto más relevante es el big data, más valioso y abierto es. En particular, habrá cada vez más datos abiertos de empresas públicas y empresas de Internet. Podemos ver que los gobiernos de los Estados Unidos, el Reino Unido, Australia y otros países han trabajado arduamente en los datos gubernamentales y de servicios públicos. Algunas ciudades y departamentos nacionales también están abriendo datos gradualmente. Por ejemplo, Beijing inició la operación de prueba de la red de recursos de datos del gobierno en 2012 y la inauguró oficialmente a fines de 2013; Shanghai lanzó un programa piloto para abrir los recursos de datos del gobierno en 2012. Los datos involucran ubicación geográfica, transporte y estadísticas económicas. , calificaciones, etc. En 2014, la provincia de Guizhou también se unió a la apertura de datos y, en 10 años, Guizhou pasó oficialmente a la nube. En diferentes industrias, cuantos más datos disfrute, más valiosos serán. Si cada hospital quiere obtener más características de la enfermedad e información sobre la eficacia, necesita tener acceso a información médica nacional e incluso global, para poder realizar análisis a través de la plataforma y obtener más valor. Creemos que los datos mostrarán una tendencia a compartirse y surgirán alianzas de datos en diferentes campos.
Tendencia 5: La seguridad de Big Data está recibiendo cada vez más atención y el mercado de la seguridad de Big Data será cada vez más importante.
A medida que el valor de los datos se vuelve cada vez más importante, la seguridad y estabilidad de los big data se tomarán gradualmente en serio. Internet y la vida digital también han facilitado que los delincuentes obtengan información de otras personas y tengan más trucos y métodos delictivos. Por lo tanto, en la era de los grandes datos, ya sea la protección de los datos en sí o la seguridad de alguna información evolucionada a partir de los datos, las empresas con altos requisitos para el análisis de grandes datos serán cruciales. La seguridad de Big Data corresponde al negocio de Big Data. En comparación con la seguridad tradicional, la mayor diferencia entre la seguridad de big data es que cuando los proveedores de seguridad piensan en problemas de seguridad, primero deben analizar el negocio, descubrir las amenazas que enfrenta el negocio de big data y luego proponer soluciones específicas. Por ejemplo, en escenarios de almacenamiento de datos, muchas empresas utilizan actualmente software de código abierto como la tecnología Hadoop para resolver problemas de big data. Debido a su naturaleza de código abierto, sus problemas de seguridad también son destacados. Por lo tanto, el mercado necesita más proveedores de seguridad profesionales que brinden servicios profesionales para diferentes problemas de seguridad de big data.
Tendencia 6: El big data impulsa el desarrollo de las ciudades inteligentes y es el motor de las ciudades inteligentes.
Con el desarrollo del big data, el big data jugará un papel cada vez más importante en las ciudades inteligentes. Debido a la presión que la aglomeración de población ejerce sobre las ciudades en términos de transporte, atención médica, construcción, etc., las ciudades necesitan organizar y asignar recursos de manera más racional. Las ciudades inteligentes son la mejor solución para gobernar las ciudades en transformación. Una ciudad inteligente consiste en lograr una gestión gubernamental eficiente y servicios convenientes de sustento de las personas a través de capacidades de interconexión entre cosas y cosas, entre cosas y personas, capacidades de percepción integral y capacidades de utilización de la información, y a través de tecnologías de la información de nueva generación como Internet de las cosas, dispositivos móviles. Internet y computación en la nube y desarrollo industrial sostenible. En comparación con los conceptos anteriores de ciudad digital, la mayor diferencia de las ciudades inteligentes radica en el procesamiento inteligente de la información obtenida por la capa de percepción. Desde la digitalización urbana hasta la inteligencia urbana, la clave es realizar un procesamiento inteligente de la información digital, cuyo núcleo es la introducción de tecnología de procesamiento de big data. Big data es el motor de inteligencia central de las ciudades inteligentes. La seguridad inteligente, el transporte inteligente, la atención médica inteligente y la gestión de ciudades inteligentes son campos de aplicación de ciudades inteligentes basados en big data.
Tendencia 7: Big data creará una serie de nuevos puestos de trabajo y sus correspondientes carreras.
El surgimiento de una nueva industria creará inevitablemente nuevas demandas laborales, y el surgimiento de big data también creará una serie de nuevos puestos, como analistas de big data, expertos en gestión de datos, ingenieros de algoritmos de big data, gerentes de productos de datos, etc. Los analistas de datos experimentados se convertirán en un recurso escaso y los empleos basados en datos crecerán explosivamente. Debido a la fuerte demanda del mercado, los colegios y universidades abrirán gradualmente especialidades relacionadas con big data y cultivarán los talentos profesionales correspondientes. Las empresas también trabajarán estrechamente con las universidades para ayudarlas a cultivar conjuntamente talentos en big data. Por ejemplo, en 2014, IBM promovió de manera integral la cooperación con universidades en el campo de big data, introdujo sólidos equipos de I + D y socios comerciales, promovió la cooperación en innovación entre la industria, la universidad y la investigación en "plataforma de big data" y "análisis de big data", y construyó un sistema de conocimiento sistemático y cultivar talentos de alto valor, crear cursos de créditos relacionados con big data que satisfagan las características de enseñanza y las necesidades de talento de China, y prepararse para la construcción de especialidades características en el futuro.
Tendencia 8: Big data está mejorando nuestras vidas de muchas maneras.
El big data no sólo se utiliza en empresas y gobiernos, sino también en nuestras vidas. En términos de salud: podemos usar pulseras inteligentes para monitorear y rastrear nuestros patrones de sueño y comprender la calidad del sueño, podemos usar monitores inteligentes de presión arterial y monitores de frecuencia cardíaca inteligentes para monitorear de forma remota el estado de salud de las personas mayores en casa, brindando mucho a los trabajadores migrantes; fuera de casa, más tranquilidad; en términos de viaje, puede utilizar los datos del GPS de la navegación inteligente para comprender las condiciones del tráfico y ajustar las rutas en tiempo real según las condiciones de congestión. En términos de la vida hogareña, los big data se convertirán en el núcleo de los hogares inteligentes y los electrodomésticos inteligentes alcanzarán una inteligencia antropomórfica. Los productos pueden capturar y procesar información a través de sensores y chips de control, y pueden establecer controles automáticamente según el entorno del espacio habitable y las necesidades del usuario, e incluso hacer sugerencias para optimizar la calidad de vida. Por ejemplo, nuestro frigorífico nos indica todas las mañanas las recetas del día.
Los anteriores son los siete principales desafíos y las ocho principales tendencias en la era del big data compartidos por el editor. Para obtener más información, puede seguir a Global Ivy para compartir más información detallada.