Tres condiciones necesarias para el desarrollo del big data
Tres condiciones necesarias para el desarrollo de big data_Data Analyst Exam
En los últimos años, las discusiones sobre big data se han llevado a cabo en múltiples niveles, como tecnología, aplicación y modelo, y han sido reconocidos Representa la dirección del desarrollo industrial. Sin embargo, en comparación con muchas prácticas de las empresas de Internet, los operadores de telecomunicaciones que se considera que tienen ventajas inherentes en los recursos de datos se están quedando atrás. Incluso mirando alrededor del mundo, los operadores de telecomunicaciones tienen solo un puñado de casos de aplicación de big data. El rápido desarrollo de la banda ancha fija y móvil y el fuerte auge de OTT determinan que los operadores de telecomunicaciones deben aprovechar al máximo sus propios recursos de datos y encontrar nuevas formas de maximizar el valor de la red. Por tanto, es imperativo que los operadores de telecomunicaciones apliquen big data y las perspectivas del mercado son muy amplias.
Para acelerar el ritmo de la "implementación" de big data, ayude a todas las partes de la industria, especialmente a los operadores de telecomunicaciones, a comprender mejor big data, reconocer la importancia del desarrollo estratégico de big data y analizar las dificultades. y dificultades en el camino hacia el desarrollo, promover la madurez de la cadena de la industria de big data y promover la aplicación de big data. A partir de hoy, Correos y Telecomunicaciones del Pueblo invita a expertos de ZTE, del Instituto de Investigación de Telecomunicaciones y de los tres principales operadores a publicar una serie de informes sobre "Las pepitas de Big Data" para beneficio de los lectores.
La aparición del concepto de big data se basa en las enormes cantidades de datos que han aparecido en apenas unos años. Según las estadísticas, los datos en Internet se duplican cada dos años y más del 90% de los datos del mundo se generaron en los últimos años. Por supuesto, los datos masivos son sólo una parte del concepto de "grandes datos". Sólo pueden considerarse grandes datos si tienen las cuatro características "V", es decir, la definición de volumen, velocidad, variedad y valor. La definición de big data está completa y el último valor es la clave para determinar la dirección del desarrollo futuro de big data.
Tres condiciones necesarias para el desarrollo de big data
El desarrollo de big data requiere tres condiciones necesarias: fuentes de datos, transacciones de datos y el proceso de generación de valor de los datos. En los últimos años, con el auge de las redes sociales, el desarrollo del Internet de las cosas y la popularización del Internet móvil, WeChat, Weibo, los teléfonos inteligentes y el comercio electrónico se han vuelto populares, creando una gran cantidad de fuentes de datos valiosas, como como ubicación, información sobre la vida y otros datos. La aparición ha sentado las bases para el desarrollo de big data. Una señal importante de la llegada de la era del big data es la aparición de un gran número de "compradores y vendedores de datos" profesionales, así como una cadena industrial formada en torno a las transacciones de datos que recorre todo el proceso de recopilación, clasificación, análisis, y aplicación. El núcleo del desarrollo de big data es permitir a los usuarios obtener nuevo valor a partir de datos masivos no estructurados y los datos semiestructurados son la fuerza impulsora detrás de las transacciones de datos.
IBM, Oracle y SAP han gastado enormes sumas de dinero para adquirir empresas de análisis y gestión de datos en los últimos años. Impulsada por estos gigantes de Internet, la tecnología de análisis de datos se ha vuelto cada vez más madura.
En junio de 2013, Edward Snowden hizo público el proyecto "Prism". El incidente de "Prism Gate" demostró que los big data son una prioridad absoluta. Por un lado, el incidente de "Prism Gate" muestra que la tecnología de big data ha madurado y, por otro lado, también demuestra que no es la tecnología la que obstaculiza el desarrollo de big data, sino las transacciones de datos y el valor de los datos.
El desarrollo de la tecnología de big data ha promovido la computación en la nube. Después de que se propuso el concepto de big data, el mercado finalmente vio la dirección de las ganancias de la computación en la nube y el mercado de la computación en la nube pareció explotar de la noche a la mañana. ha sido dividido casi por completo por los grandes programadores y los grandes integradores nacionales: los integradores de sistemas de primera clase de varios lugares cooperan con los gobiernos locales para construir centros de datos en la nube y ciudades inteligentes. Todos los grandes gigantes de la industria están construyendo sus propios estándares de nube híbrida; Se utilizan para construir plataformas de nube industriales; las nubes públicas también están aquí, y los principales gigantes de TI están tratando de solicitar licencias de nube pública en China. La computación en la nube tardó cinco años en pasar del concepto a la implementación, y fue Big Data lo que finalmente lo logró. Los datos, o las expectativas del mercado sobre el valor de los datos. Con la popularización a gran escala del concepto de ciudades inteligentes en China, la infraestructura de la computación en la nube está básicamente lista, por un lado, tiene la base de hardware para las grandes. aplicaciones de datos y, por otro lado, se ve obligado a recuperar la nube. Debido a la presión de la inversión en informática, el mercado necesita urgentemente la aplicación y el despliegue de big data, que es como brindar ayuda oportuna, y la El mercado tiene grandes esperanzas.
Ahora todo apunta a "¿Cómo crean valor los datos?"
56 La piedra angular de los datos que crean valor 6 es la integración y apertura de los datos
Inicio La empresa Connotate de servicios de big data encuestó a más de 800 ejecutivos de empresas y TI. Los resultados mostraron que el 60% de los encuestados dijeron que "es demasiado pronto para decir que estas inversiones en big data definitivamente traerán grandes beneficios". Esto se debe a que los big data actualmente carecen de la apertura necesaria: los datos están en manos de diferentes departamentos y organizaciones, y estos departamentos y organizaciones no están dispuestos a compartir datos. Big data descubre leyes objetivas al estudiar la correlación de datos, que se basa en la autenticidad y amplitud de los datos. Cómo lograr el intercambio sexual y la apertura de datos es la debilidad del desarrollo actual de big data y un gran problema. necesita ser solucionado.
Obama se benefició de la integración de datos en las elecciones estadounidenses de 2012. En el equipo de campaña de Obama, hay un misterioso equipo de minería de datos que ayudó a Obama a recaudar mil millones de dólares extrayendo cantidades masivas de datos; mediante la minería de datos, aumentaron la eficiencia de la publicidad de la campaña en un 14%; El modelo detallado implementa 66.000 elecciones simuladas cada noche para predecir la tasa de victorias de Obama en los estados indecisos y utilizarla para guiar la asignación de recursos. Este equipo de extracción de datos hizo grandes contribuciones a la exitosa reelección de Obama. En comparación con la campaña de Romney, la mayor ventaja de la campaña de Obama reside en la integración de big data. El equipo de minería de datos de Obama también se dio cuenta de que existe el mismo problema en los gobiernos de todo el mundo: los datos están dispersos en demasiadas bases de datos. Así, en los primeros 18 meses, la campaña de Obama creó un único sistema de datos masivo que podría consolidar datos de encuestadores, donantes, trabajadores de campo, bases de datos de consumidores, redes sociales e información clave de los estados indecisos para los votantes demócratas. Esta enorme base de datos integrada no sólo indica a las campañas cómo encontrar votantes y captar su atención, sino que también ayuda a los equipos de procesamiento de datos a predecir qué grupos de personas es probable que se dejen persuadir por algo en particular. Como dijo el director de campaña, Jim Messina, a lo largo de la campaña rara vez existen suposiciones que no estén respaldadas por datos.
En marzo de 2012, la administración Obama anunció una inversión de 200 millones de dólares para lanzar el "Plan de I+D de Big Data", elevando la investigación de big data al nivel de voluntad nacional y teniendo un profundo impacto en la integración de grandes datos. La escala de datos de un país y sus capacidades de utilización se convertirán en un componente importante de la fortaleza nacional integral. Uno de los objetivos de la construcción de ciudades inteligentes a nivel nacional es lograr el intercambio centralizado de datos.
La creación de valor de datos requiere cooperación y un modelo de negocio en el que todos ganen
A medida que la computación en la nube, la tecnología de big data y los entornos comerciales relacionados continúan madurando, cada vez más "desarrolladores de software" utilizan servicios cruzados. -Plataformas de big data de la industria para crear aplicaciones de big data innovadoras y valiosas, y las barreras de entrada se reducen constantemente". El umbral también disminuye constantemente. Porque, en primer lugar, los propietarios de datos están felices de hacer esas cosas, pueden obtener ingresos adicionales a un costo insignificante y aumentar los niveles de ganancias; en segundo lugar, los fabricantes de equipos de big data están felices de hacer esas cosas, porque los fabricantes necesitan aplicaciones para atraer a los consumidores a comprar; La cooperación para el desarrollo**** es una asociación beneficiosa para todos que será más rentable que simplemente vender equipos. Algunos fabricantes con visión de futuro han comenzado a apoyar a estos "desarrolladores de software" proporcionándoles fondos, soporte técnico, acciones, etc. En tercer lugar, la demanda de aplicaciones de análisis de datos en industrias subdivididas continúa aumentando. Para toda la cadena de la industria de big data, los desarrolladores de aplicaciones de datos industriales innovadores serán la parte más activa de toda la cadena de la industria de big data en el futuro.
En la inevitable era del big data, tres tipos de empresas desempeñarán un papel importante en la "cadena de la industria del big data": empresas que dominan cantidades masivas de datos efectivos, empresas con sólidas capacidades de análisis de datos e innovadoras. "Desarrollador de software". Las redes sociales, Internet móvil, las empresas de tecnología de la información y los operadores de telecomunicaciones son productores de datos masivos. Facebook tiene 850 millones de usuarios, Taobao tiene más de 370 millones de usuarios registrados y los usuarios de Tencent WeChat han superado los 300 millones. Los grupos de usuarios están esperando. El momento libera una enorme energía empresarial.
Es previsible que en un futuro próximo, los poseedores de datos masivos como Facebook, Tencent y los operadores de telecomunicaciones se conviertan en proveedores de análisis de datos o formen alianzas estrechas con IBM, ZTE y otras empresas para convertirse en empresas cooperativas de Big Data. La cadena industrial crecerá y se expandirá a un ritmo alarmante cuando llegue un cierto punto de ruptura.
Cuidado con los peligros del big data
En la era del big data, el muestreo aleatorio tradicional ha sido reemplazado por la "agregación mayoritaria" y los patrones de pensamiento y toma de decisiones de las personas pueden ser Basado directamente en "lo que es" para sacar conclusiones, porque tales conclusiones no se basan en emociones y psicología personales. Dado que tal conclusión elimina la interferencia de emociones personales, motivaciones psicológicas, precisión del muestreo y otros factores, será más precisa y predecible. Sin embargo, debido a que los big data dependen demasiado de la agregación de datos, una vez que hay un problema con los datos en sí, es probable que se produzcan "big data catastróficos", es decir, las predicciones y decisiones incorrectas son causadas por problemas con los datos en sí.
La teoría del big data es "encontrar una aguja en un pajar", pero ¿y si "todas las pajitas se parecen mucho a la aguja"? En situaciones en las que se requieren juicios rápidos, demasiada información cuya autenticidad o valor no se puede discernir es tan perjudicial como muy poca información, y es probable que los juicios erróneos tengan consecuencias graves. La base de la teoría del big data es que "los datos masivos son hechos", pero ¿qué pasa si el proveedor de datos los falsifica? En la era del big data, esta situación es aún más dañina porque los sesgos y filtros de los propios proveedores y recolectores de datos simplemente están fuera de control. Los bancos de inversión de Wall Street y las principales agencias de calificación de Europa y Estados Unidos tienen las bases de datos más completas y son las primeras instituciones en aceptar el concepto de "big data". Sin embargo, a menudo cometen errores en cuestiones importantes, lo que a su vez expone las limitaciones del mismo. "grandes datos".
No solo eso, la era de los big data ha creado un mundo donde las bases de datos son omnipresentes y los reguladores de datos enfrentan presiones y responsabilidades sin precedentes: cómo evitar que las filtraciones de datos perjudiquen los intereses nacionales, los intereses públicos y la privacidad personal. ? ¿Cómo evitar desajustes en la información y perjudicar los intereses de los grupos vulnerables? Hasta que los riesgos puedan controlarse eficazmente, tal vez sea mejor dejar que los macrodatos permanezcan en una "jaula".
Se ha reconocido el valor económico de big data y la tecnología de big data ha madurado gradualmente. Una vez que se complete la integración y supervisión de los datos, llegará la era de la explosión del big data. Lo que tenemos que hacer ahora es elegir nuestra propia dirección y prepararnos de antemano para la llegada del big data.
Las anteriores son las tres condiciones necesarias para el desarrollo de big data que he compartido contigo. Para obtener más información, puedes seguir a Global Green Ivy para compartir más información útil.