Nueve etapas del ciclo de vida de big data
El ciclo de vida de una empresa que construye big data debe incluir las siguientes partes: organización de big data, evaluación de la situación actual, formulación de una estrategia de big data, definición de datos, recopilación de datos , análisis de datos, Gobernanza de datos y mejora continua.
1. La organización del big data
Sin personas, todo es ilusión. El primer paso en el ciclo de vida de Big Data debería ser establecer un presupuesto dedicado y un KPI independiente "organización de planificación, construcción y operación de Big Data". Esto incluye un director de datos de alto nivel como patrocinador, luego el comité de gestión de datos empresariales o el comité directivo de planificación de la ejecución de big data, y luego el equipo del proyecto de big data o el predecesor del equipo del proyecto de big data: el pre-proyecto de big data. -equipo de investigación o equipo de proyecto de big data. Este equipo es la columna vertebral de los futuros creadores e implementadores de estrategias de big data. Debido a la gran cantidad de personas, se recomienda introducir un modelo RACI para aclarar los roles y responsabilidades de todos.
2. Evaluación de la situación actual y análisis de brechas de big data
Antes de formular una estrategia, se debe realizar una evaluación de la situación actual. La investigación de evaluación previa incluye tres aspectos: primero, externo. investigación: comprensión ¿Cuál es el último desarrollo de big data en la industria? ¿Cuál es el nivel de aplicación de big data entre las principales empresas de la industria? ¿Cuál es el nivel promedio de aplicación de big data en la industria, especialmente entre los principales competidores? En segundo lugar, la investigación interna de clientes. ¿Cuáles son las expectativas de la dirección, las unidades de negocio, el propio departamento de TI y nuestros usuarios finales de nuestro negocio de big data? En tercer lugar, comprenda su propia situación y sus propias reservas de tecnología y talento. El último paso es la evaluación comparativa y el análisis de brechas para descubrir las brechas.
Después de identificar las brechas, es necesario evaluar la madurez actual. En términos generales, la madurez de las aplicaciones empresariales de big data se puede dividir en cuatro etapas: etapa inicial (solo conceptos, sin práctica, etapa de exploración (se han comprendido los conceptos básicos y hay personal dedicado disponible para explorar y explorar, y tiene big data básico); reservas de tecnología de datos) ); etapa de desarrollo (tener o está construyendo estrategias, equipos, herramientas y procesos claros, y entregar resultados preliminares; etapa de madurez (tener estrategias, equipos, herramientas y procesos estables y cada vez más maduros, y entregar altos niveles continuamente); -resultados de calidad).
3. Estrategia de big data
Con una organización de big data y una comprensión de la situación actual, las brechas y las necesidades de big data en la empresa, podemos formular objetivos estratégicos para big data. El desarrollo de una estrategia de big data es el alma y el núcleo de todo el ciclo de vida de big data y se convertirá en una guía para el desarrollo de big data en toda la organización.
No existe una plantilla estandarizada para el contenido de una estrategia de big data, pero sí algunos requisitos básicos:
1. Ser conciso y directo, pero capaz de cubrir las necesidades. de los stakeholders dentro y fuera de la empresa.
2. Ser claro y que todos sepan cuáles son nuestros objetivos y visión.
3. Sé realista y alcanzable con trabajo duro.
4. Definición de big data
Pienso: "Si no defines datos, no puedes recopilarlos; si no puedes recopilarlos, no puedes". No puedes analizarlo; si no puedes analizarlo, no puedes medirlo; no puedes controlarlo; no puedes controlarlo; no puedes controlarlo; Si no lo gestionas, no puedes usarlo". Por lo tanto, "una vez que los requisitos y las estrategias están claros, la definición de datos es el requisito previo para toda gestión de datos".
5. Recopilación de datos
1. Las fuentes de datos en la era del big data provienen de una amplia gama de fuentes, que pueden provenir principalmente de tres aspectos: datos generados por varios sistemas de aplicaciones en intranets corporativas existentes (como datos de oficina, operativos y de producción), así como datos externos a la Internet empresarial (como datos de redes sociales) y el Internet de las cosas (IoT).
2. Existen muchos tipos de big data, que generalmente se pueden dividir en: datos estructurados tradicionales y grandes cantidades de datos no estructurados (como audio y video).
3. Existen muchas herramientas de recopilación y minería de datos. Las herramientas de descubrimiento de valor de datos representadas por la exploración interactiva y la minería de datos, que pueden basarse o integrarse con la plataforma ETL hadoop, se están convirtiendo en una tendencia.
4. Principios de recopilación de datos: en el contexto de una amplia gama de fuentes de datos, enormes cantidades de datos y numerosas herramientas de recopilación y extracción, los tomadores de decisiones de big data deben aclarar los principios de la recopilación de datos: "ser capaz de recopilar datos" no significa "Vale la pena recopilarlos" o "Debe recopilarlos". La "intersección" de los datos que deben recopilarse y los datos que pueden recopilarse son los datos que determinamos recopilar.
"
6. Procesamiento y análisis de datos
Existen muchas herramientas en la industria que pueden ayudar a las empresas a construir una "plataforma de análisis y procesamiento de datos" integrada. Para administradores y planificadores de big data empresariales Dijo que la clave es "las herramientas deben cumplir con los requisitos de la plataforma, y la plataforma debe satisfacer las necesidades del negocio, en lugar de que el negocio deba adaptarse a los requisitos de la plataforma, y la plataforma debe adaptarse a los requisitos de la herramienta de fabricante." Entonces, ¿qué capacidades debería tener esta plataforma integrada? Debería poder recuperar, clasificar, asociar, impulsar e implementar fácilmente la gestión de metadatos, etc. Consulte la siguiente figura:
VII. Presentación de datos
El valor de la gestión de big data radica en última instancia en mostrar datos en diversas formas para ayudar a la administración y a los departamentos comerciales a tomar decisiones comerciales. Los tomadores de decisiones de big data necesitan integrar los sistemas de big data con los sistemas de BI (inteligencia empresarial) y. Sistemas de KM (gestión del conocimiento). La siguiente figura muestra el big data. Diversas formas de presentación.
VIII. se refiere al establecimiento de un equipo dedicado en el proceso de gestión de big data. El equipo de gobierno y control desarrolla una serie de estrategias, procesos, sistemas y sistemas de indicadores de evaluación para supervisar, inspeccionar y coordinar los objetivos de múltiples departamentos funcionales relevantes, optimizando así. , protegiendo y utilizando big data para garantizar su valor como activo estratégico empresarial.
2. La gobernanza de big data es una parte integral del gobierno de TI, y la auditoría de big data es una parte integral de la auditoría de TI. debe planificarse e implementarse de manera general, en lugar de planificarse e implementarse de forma independiente.
3. La auditoría, la gobernanza y el control de big data son el núcleo de la seguridad, la calidad y la eficiencia de los datos.
IX. Mejora continua
Introducir metodologías como PDCA para cambios, auditorías y problemas de gobernanza descubiertos a lo largo del ciclo de vida del big data, continuar optimizando estrategias, métodos, procesos, y herramientas, y mejorar continuamente las habilidades del personal relevante para garantizar el éxito continuo de la estrategia de big data.