Recordatorio de caso de fallo de Big Data: 8 errores que no se deben cometer

Recordatorio de los casos de falla del big data: 8 errores que no se pueden cometer

En los últimos años, el torbellino del big data ha arrasado el mundo a "la velocidad del trueno y el relámpago", no solo en en el campo de la información, pero también en la economía Muchos campos como el big data, la política y la sociedad están "afilando sus espadas" preparándose para ocupar un lugar en él. Sin embargo, muchas empresas se encuentran con "Waterloo" después de ingresar al campo del big data. Aquí, este artículo hace un balance de una serie de proyectos fallidos de big data y explora las razones, lo que tiene importancia como advertencia.

Exceso de confianza en los datos En 2008, Google empezó a predecir la gripe y logró buenos resultados, prediciendo el brote dos semanas antes que los Centros para el Control y la Prevención de Enfermedades de EE.UU. Sin embargo, unos años más tarde, la predicción de Google era un 50% mayor que la situación real (calculada por los Centros para el Control y la Prevención de Enfermedades basándose en datos de visitas a hospitales de EE. UU.). Los medios de comunicación han exagerado demasiado el éxito de Google y cada vez más personas buscan palabras clave relacionadas por curiosidad, lo que ha provocado una distorsión de los datos. Subestimar la complejidad del big data Hay varias empresas financieras de Internet en los Estados Unidos que se especializan en préstamos a pequeñas y medianas empresas. Sin embargo, los datos involucrados en los préstamos a pequeñas y medianas empresas son más complejos, y las pequeñas y medianas empresas involucran algunos datos muy especiales en toda la industria, como estados financieros y contratos no estándar en diferentes industrias y diferentes paradigmas. No tienen conocimientos muy profesionales y es difícil de entender o es difícil encontrar tiempo para desenterrarlo exactamente. En ese momento, el equipo de big data quería utilizar un modelo perfecto para resolver todos los problemas, como utilizar un modelo para resolver soluciones de mercado y crédito. Sin embargo, debido a la complejidad de los datos, este método finalmente resultó ser un fracaso. Y el 90% del tiempo se dedica a la limpieza de datos. Esto demuestra que es difícil lograr resolver todos los problemas a la vez mediante la tecnología de big data. En lugar de ello, debemos utilizar un enfoque paso a paso. La inercia de la gestión El sistema de una determinada empresa de viajes mejora la información sobre los clientes extrayendo datos de registros web. Resultó que después de que los usuarios navegaban por el sitio web, sus patrones de comportamiento de consumo posteriores no coincidían con lo que creía la dirección. Cuando el equipo informó del incidente, la dirección no pensó que valiera la pena mencionarlo. Sin embargo, el equipo no se rindió y luchó contra los desaires de la gerencia mediante rigurosas pruebas A/B. El resultado final de este caso no es el que todo CIO puede esperar. Sin embargo, una cosa es segura: prepárese para tratar con la gerencia y déjeles entender completamente qué es big data y su correspondiente valor. Escenario de aplicación incorrecta Una compañía de seguros quiere comprender la correlación entre los hábitos diarios y la voluntad de adquirir un seguro de vida. Más tarde decidió que el hábito era demasiado amplio, por lo que la empresa limitó su encuesta a fumar cigarrillos. Sin embargo, todavía no hay avances reales en el trabajo. Al cabo de seis meses, dieron por terminado todo el proyecto porque no habían podido encontrar ninguna información valiosa. El proyecto fracasó debido a la complejidad del problema. La empresa no advirtió que existe una gran zona gris entre fumar y no fumar: muchas personas fuman y luego lo dejan. Impulsado por la motivación de simplificar el problema, esta parte se ignora. El equipo de big data de una empresa global descubrió muchos conocimientos profundos y planeó compartirlos con toda la empresa a través de la nube. Como resultado, el equipo subestimó la pérdida de eficiencia. Debido a la congestión de la red, no pudo satisfacer las necesidades de las sucursales de todo el mundo para enviar datos para su análisis sin problemas. La empresa debería pensar detenidamente cómo respaldar proyectos de big data, seleccionar las habilidades necesarias y coordinar los esfuerzos de varias ramas de TI para respaldarlos. Demasiados proyectos de big data han fracasado debido a problemas de red, seguridad o infraestructura. Falta de habilidades de análisis de big data El director ejecutivo de una empresa minorista no estaba de acuerdo con el modelo de servicio plano y reducido de Amazon, por lo que le pidió al CIO que creara un motor de recomendación de clientes. Originalmente se planeó que el proyecto durara seis meses, pero el equipo rápidamente se dio cuenta de que conceptos como el filtrado colaborativo no serían factibles. Con este fin, un miembro del equipo propuso construir un “motor de recomendaciones falsas” con hojas como único producto recomendado. La lógica de funcionamiento de este motor falso es: las personas que compran licuadoras comprarán sábanas, las personas que compran libros sobre camping comprarán sábanas y las personas que compran libros comprarán sábanas. Eso es todo, las sábanas son la única recomendación predeterminada. Aunque ridícula, esta idea en realidad no es mala y las recomendaciones predeterminadas también pueden generar mejoras en las ventas de las empresas. Sin embargo, debido a la falta de habilidades relacionadas con big data, el motor real no se ha implementado.

Hacer las preguntas equivocadas Un fabricante de automóviles líder a nivel mundial decidió embarcarse en un proyecto de análisis de sentimiento de 6 meses y 10 millones de dólares. Después del proyecto, el fabricante compartió los resultados con los distribuidores e intentó cambiar el modelo de ventas. Luego, los resultados resultaron ser erróneos. El equipo del proyecto no dedicó suficiente tiempo a comprender los problemas o la propuesta comercial del distribuidor, lo que hizo que el análisis fuera inútil. Se aplicó un modelo incorrecto. Para determinar la rotación de clientes en la industria de las telecomunicaciones, un banco contrató a un experto de la industria de las telecomunicaciones, quien rápidamente construyó un modelo para evaluar si los usuarios estaban a punto de abandonar. En ese momento, había entrado en la etapa final de evaluación y verificación, el modelo pronto se lanzaría en línea y el banco también estaba comenzando a preparar cartas para retener a los clientes que se consideraban a punto de perder. Sin embargo, para estar seguros, se pidió a un experto interno que evaluara el modelo. El experto bancario pronto descubrió algo sorprendente: Sí, esos clientes se marchaban, pero no porque no estuvieran satisfechos con el servicio del banco. Transfieren activos (a veces en silencio) debido a problemas de relación, en preparación para el divorcio. Se puede ver que comprender la aplicabilidad del modelo, el nivel de abstracción de datos y los matices implícitos en el modelo puede resultar un gran desafío. Resistencia de la gestión Aunque los datos contienen mucha información importante, Fortune Knowledge descubrió que el 62% de los líderes empresariales todavía tienden a confiar en su intuición y el 61% de los encuestados cree que el conocimiento real del líder es importante en el proceso de toma de decisiones. valor de referencia prioritario sobre las conclusiones del análisis de datos. Las empresas que eligen el método de uso incorrecto a menudo cometen dos errores: o bien crean un conjunto de proyectos de big data que son demasiado radicales y están fuera de su control, o intentan utilizar tecnologías de datos tradicionales para abordar los problemas de big data. No importa cuál sea la situación, es muy probable que el proyecto tenga problemas. Hacer preguntas equivocadas La ciencia de datos es compleja e incluye conocimientos especializados (que requieren una comprensión profunda de las condiciones comerciales reales en la banca, el comercio minorista u otras industrias, experiencia en matemáticas y estadística, habilidades de programación, etc.); Los científicos de datos contratados por muchas empresas solo saben matemáticas y programación, pero carecen del componente de habilidades más importante: la comprensión de las industrias relacionadas. Por lo tanto, es mejor encontrar científicos de datos dentro de la empresa. La falta de las habilidades necesarias está estrechamente relacionada con hacer las preguntas equivocadas. La razón por la que muchos proyectos de big data tienen problemas o incluso fracasan es porque no cuentan con las habilidades pertinentes necesarias. A menudo, las personas responsables de dichos proyectos son técnicos de TI, y a menudo no formulan las preguntas correctas sobre los datos para guiar las decisiones. Conflictos con la estrategia corporativa Para que un proyecto de big data tenga éxito, debemos deshacernos de la idea de tratarlo como un "proyecto" único y considerarlo verdaderamente como la forma central en que la empresa utiliza los datos. El problema es que los valores o los objetivos estratégicos de otros departamentos pueden tener mayor prioridad que el big data, y este conflicto a menudo nos deja incapaces de usar nuestro poder. Islas de Big Data A los proveedores de Big Data siempre les gusta hablar de "lagos de datos" o "centros de datos", pero de hecho, lo que muchas empresas han establecido solo puede considerarse como "charcos de datos" y existen límites obvios entre cada charco. Por ejemplo, charcos de datos de marketing, charcos de datos de fabricación, etc. Lo que hay que destacar es que sólo si se eliminan las barreras entre los diferentes departamentos y se integran los flujos de datos de todas las partes, los big data podrán realmente ejercer su propio valor. Se han encontrado otras situaciones inesperadas fuera de la tecnología de big data. El análisis de datos es sólo un componente de un proyecto de big data, y la capacidad de acceder y procesar datos es igualmente importante. Además, los factores que a menudo se pasan por alto incluyen las limitaciones de la capacidad de transmisión de la red y la capacitación del personal. Una petición de principio A veces podemos estar seguros o sospechar que los datos nos obligarán a realizar algunas acciones operativas que nos gustaría evitar. Por ejemplo, la razón por la que la industria farmacéutica se resiste tanto al análisis de sentimiento es porque no quiere informar resultados adversos. efectos secundarios a la Administración de Alimentos y Medicamentos de EE. UU. y asumir las responsabilidades legales resultantes. En esta lista de razones, es posible que haya descubierto un tema común: no importa cuánta atención prestemos a los datos en sí, siempre habrá factores humanos involucrados. Incluso cuando nos esforzamos por obtener un control total sobre nuestros datos, el proceso de big data es en última instancia manejado por humanos, incluidas muchas decisiones iniciales, como qué datos recopilar y analizar, qué preguntas formular para informar el análisis, etc. Para evitar que los proyectos de big data fracasen, es necesario introducir un mecanismo iterativo.

El uso de una infraestructura de datos abierta y flexible garantiza que permita a los empleados de la empresa ajustar continuamente las soluciones reales hasta que sus esfuerzos reciban la retroalimentación ideal y, en última instancia, utilizar la iteración como arma para avanzar con éxito hacia la victoria del uso eficaz de big data.