Nuevas perspectivas de desarrollo de la ciencia de big data: cuatro tendencias principales son imparables

Nuevas perspectivas de desarrollo de la ciencia de big data: cuatro tendencias principales son imparables. Pero no importa cómo cambien los puntos calientes de la tecnología, lo que podemos ver es que a medida que la industria se asienta para llevar a cabo una implementación sustancial, las grandes. El ecosistema de datos también es cada vez más importante cuanto más subdividido. Hoy les hablaré sobre algunos nuevos cambios y tendencias en el campo del big data. En términos de tendencias de desarrollo, esto se puede poner en primer lugar. A lo largo de los años, los datos se han acumulado rápidamente en las empresas. El Internet de las Cosas (IoT) sigue acelerando la generación de datos. Para muchas empresas, la solución a big data es utilizar tecnologías como Apache Hadoop de código abierto como soporte básico para crear un lago de datos (DataLake), es decir, crear una plataforma de gestión de datos para que toda la empresa almacene los datos de la empresa en un formato nativo. Los lagos de datos eliminarán los silos de información al proporcionar un único repositorio de datos que puede ser utilizado por toda la organización para diversas aplicaciones, como análisis de negocios, minería de datos y más. Cuando hay un lago de datos, todos tenderán a pensar que esto se convertirá en un conjunto de big data completo y versátil. Por ejemplo, se requerirán datos de flujo de clics, datos de Internet de las cosas, datos de registro, etc. lago, y estos datos Se ignoran problemas que son difíciles de abordar. Sin embargo, no tiene sentido tener un lago de datos, sin importar cuán grande sea, a menos que sepa exactamente qué hay en el lago de datos y tenga acceso a los datos correctos para su análisis. Entonces, al final, todos se dan cuenta de que muchos lagos de datos son recursos de bajo rendimiento y la gente no sabe qué se almacena en ellos, cómo acceder a ellos o cómo obtener información a partir de estos datos. Sin embargo, no es fácil encontrar lo que desea cómodamente mientras administra los permisos. Además de los lagos de datos, otro tema de gobernanza es proporcionar fácil acceso a datos confiables a cualquier persona de manera segura y auditable. Por lo tanto, desde la perspectiva de la gestión y el uso de los activos de datos de la empresa, la gobernanza de datos, como el sistema y el manifiesto de alto nivel de la empresa, debe tomarse en serio e implementarse con las estrategias, procesos, etc. correspondientes. El objetivo final es mejorar la gestión de datos, garantizar la calidad de los datos y crear una nueva situación de apertura e intercambio mediante la realización de la gobernanza de datos. Además, la gobernanza de datos es un sistema en el que las decisiones, funciones y procesos operativos se combinan orgánicamente y las personas son responsables de estos activos de datos. En la mayoría de las grandes empresas, la adopción de big data comienza con unos pocos proyectos independientes, y lo mismo ocurre con la promoción personal: construir un clúster Hadoop aquí, utilizar una herramienta de análisis allí, ejecutar un modelo de negocio simple y darse cuenta de que es necesario Configure algunos nuevos títulos de trabajo (científico de datos, director de datos) y más. Hoy en día, los escenarios comerciales son cada vez más abundantes, la heterogeneidad se vuelve cada vez más prominente y se utilizan diversas herramientas en toda la empresa. Dentro del ámbito organizacional de la empresa, los "departamentos de ciencia de datos" centralizados están dando paso gradualmente a organizaciones más descentralizadas, porque los departamentos centralizados se están convirtiendo cada vez en más cuellos de botella y es más probable que causen una pérdida de recursos. Este grupo de científicos de datos, ingenieros de datos y analistas de datos está cada vez más integrado en diferentes departamentos comerciales. Por tanto, es evidente la necesidad de una plataforma, es decir, que todo funcione en conjunto, porque el éxito del big data se basa en montar una cadena de montaje de tecnología, personas y procesos. Por lo tanto, están surgiendo a un ritmo acelerado algunos nuevos tipos de plataformas de colaboración (como Jupyter, etc.), liderando el desarrollo del campo llamado DataOps (correspondiente a DevOps). Los científicos de datos todavía son muy disputados en el mercado. Pero rara vez vemos a estas personas por aquí, e incluso las empresas Fortune 1000 están preocupadas por su incapacidad para reclutar más “científicos de datos”. Y en algunas organizaciones, el departamento de ciencia de datos está pasando de ser un facilitador a un cuello de botella. Al mismo tiempo, la democratización de la IA y la difusión de herramientas de autoservicio han facilitado que los ingenieros de datos e incluso los analistas de datos con habilidades limitadas en ciencia de datos realicen algunas operaciones básicas que hasta hace poco seguían siendo dominio de los científicos de datos.

Con la ayuda de herramientas de automatización, una gran cantidad de tareas de big data en las empresas, especialmente aquellas que son simples y aburridas, serán manejadas por ingenieros y analistas de datos sin tener que molestar a los científicos de datos con profundas habilidades técnicas. Por supuesto, aun así, los científicos de datos no necesitan tener demasiado “miedo” todavía. En el futuro previsible, las herramientas de autoservicio y los modelos de automatización “aumentarán” a los científicos de datos en lugar de eliminarlos, liberándolos para centrarse en tareas que requieren juicio, creatividad, habilidades sociales o conocimiento vertical de la industria. Refleja mejor el nombre de un científico. Big Data Administrator (BDA) también se compara con Database Administrator (DBA). Aunque las dos letras inglesas acaban de cambiar de orden, sus connotaciones son muy diferentes. Una tendencia muy obvia es que las empresas necesitarán un nuevo rol laboral, es decir, administradores de big data. Todo el mundo ya está muy familiarizado con DBA, pero es muy diferente del administrador de datos en la era del big data. Los administradores de datos se sitúan entre los consumidores de datos y los ingenieros de datos. Para tener éxito, además de mantener sistemas de big data, los administradores de datos deben comprender el significado de los datos y dominar algunas de las técnicas aplicadas a los datos. Los administradores de datos deben comprender el tipo de análisis de datos que se debe realizar en toda la organización, qué conjuntos de datos son adecuados para este trabajo y cómo transformar los datos desde su estado original a la forma que los consumidores de datos necesitan. realizar este trabajo. Los administradores de datos deberían utilizar sistemas como plataformas de datos de autoservicio para acelerar el proceso de extremo a extremo para que los consumidores de datos accedan a conjuntos de datos esenciales sin tener que hacer innumerables copias de los datos. Los cuatro aspectos anteriores son las nuevas demandas que plantea el desarrollo práctico de la ciencia de datos. Quien pueda lograr buenos resultados en estos aspectos alcanzará una posición de liderazgo en esta era del big data. Desde 2012, casi todo el mundo (al menos en la comunidad de Internet) debe hablar sobre big data. Parece que si no tienes nada que ver con big data, te da vergüenza charlar con otros. A partir de 2016, los sistemas de big data comenzaron gradualmente a entrar en la etapa de implementación en las empresas. El entusiasmo por los big data se disipó gradualmente, seguido de un período de vigoroso desarrollo de aplicaciones que representaban tecnologías maduras en los mercados de capital nacionales y extranjeros. También sigue apareciendo. En un abrir y cerrar de ojos, la burbuja que vivió el big data hace unos años se traslada indiscutiblemente a la inteligencia artificial. Se puede decir que el año pasado, la "gran explosión" de conciencia homosexual que ha experimentado AI es incluso peor que los grandes datos del año. Recientemente, la atención se ha desplazado hacia blockchain, lo que hasta cierto punto se ha convertido en motivo de ansiedad para los expertos de la industria.