Desafíos y limitaciones del big data
Desafíos y limitaciones del Big Data
Todo el mundo sabe que Internet ha cambiado la forma en que operan las empresas, los gobiernos y la vida de las personas. Pero una nueva tendencia tecnológica, menos obvia, tiene el mismo poder transformador: los "grandes datos". La tendencia del big data surge del hecho de que hoy en día circula mucha más información que nunca, y esta tendencia se está aplicando a usos nuevos y extraordinarios. Big data es completamente diferente de Internet, aunque Internet hace que la recopilación y el intercambio de datos sean mucho más convenientes. Big data es algo más que comunicación: su esencia es que podemos aprender cosas de grandes cantidades de información que no podemos obtener de cantidades más pequeñas de información.
Cambiará la forma de pensar de los humanos
Ya en el siglo III a.C., se creía que la Biblioteca de Alejandría contenía todo el conocimiento humano. Y si la información del mundo actual se dividiera equitativamente entre cada persona viva, entonces la cantidad de información que poseería cada persona sería 320 veces mayor que toda la colección de libros de la Biblioteca de Alejandría. Si toda esta información se grabara en discos ópticos y se apilara en cinco pilas, los discos se apilarían hasta la luna.
Esta explosión de datos es un fenómeno relativamente nuevo. En 2000, sólo una cuarta parte de toda la información almacenada en el mundo era digital; el resto estaba almacenada en papel, películas y otros medios analógicos. Pero esa situación se revirtió rápidamente a medida que la cantidad de datos digitales creció rápidamente, duplicándose casi cada tres años. Hoy en día, menos del 2% de toda la información almacenada no es digital.
En vista de tal disparidad en las proporciones, la gente no puede evitar pensar sólo en términos de cantidad cuando entienden big data. Sin embargo, esto sería engañoso. Otra característica del big data es su capacidad de utilizar datos para representar muchos aspectos del mundo que nunca antes se habían cuantificado; esta característica puede denominarse "datificación". Por ejemplo, la digitalización de la información de ubicación se debió primero a la invención de la longitud y la latitud y, más recientemente, al GPS. Cuando las computadoras toman muestras de libros de siglos pasados, el texto se convierte en los datos que se procesan. Incluso las amistades y los pasatiempos se digitalizan, por ejemplo, a través de Facebook.
Con la ayuda de memorias de computadora baratas, procesadores de alto rendimiento, algoritmos inteligentes, software inteligente y matemáticas tomadas de las estadísticas básicas, este tipo de datos se está utilizando de formas nuevas e increíbles. En lugar de intentar "enseñar" a las computadoras a hacer cosas como conducir o traducir, el nuevo enfoque implica alimentar a las computadoras con suficiente información para que puedan inferir probabilidades, como la probabilidad de que un semáforo se ponga verde o no, o la probabilidad de que el semáforo se ponga verde o no. La palabra "luz" significa "luz" en lugar de "luz" en un contexto particular.
Aprovechar grandes cantidades de datos de esta manera requiere un cambio radical en las actitudes hacia los datos de tres maneras. La primera es recopilar y utilizar grandes cantidades de datos en lugar de conformarse con un pequeño número o muestra, como lo han hecho los estadísticos durante más de 100 años. La segunda es abandonar la preferencia de la gente por el orden y la pureza de los datos y aceptar en su lugar la desorganización: en un número cada vez mayor de situaciones, un poco de imprecisión es tolerable. En tercer lugar, en muchas ocasiones la gente necesita dejar de buscar la verdad del asunto y reemplazarla con la aceptación de la correlación. Utilizando big data, en lugar de tratar de descubrir exactamente por qué un motor se paró o un efecto secundario de un medicamento desapareció, los investigadores pueden recopilar y analizar grandes cantidades de información sobre tales eventos y todo lo demás para identificar patrones que podrían ayudar a predecir eventos futuros. Los macrodatos ayudan a responder las preguntas de qué, no de por qué, y a menudo esa respuesta es suficiente.
Internet ha cambiado la forma en que los humanos se comunican. Los big data son diferentes: señalan un cambio en la forma en que la sociedad procesa la información. Con el tiempo, los macrodatos pueden cambiar la forma en que la gente piensa sobre el mundo. A medida que las personas utilizan cada vez más datos para comprender las cosas y tomar decisiones, es probable que descubramos que muchos aspectos de la vida son aleatorios en lugar de deterministas.
De la causalidad a la correlación
Dos cambios en la forma en que las personas ven los datos (de partes a totalidades y de puros a desordenados) han dado lugar a un tercer cambio: de la causalidad a la correlación.
Esto representa un alejamiento de tratar siempre de comprender las razones subyacentes detrás de la forma en que funciona el mundo y hacia simplemente descubrir las conexiones entre los fenómenos y usar esa información para resolver problemas.
Investigadores canadienses están desarrollando un enfoque de big data para detectar infecciones en bebés prematuros antes de que aparezcan síntomas evidentes. Al convertir 16 signos vitales, incluidos el ritmo cardíaco, la presión arterial, la respiración y los niveles de oxígeno en la sangre, en un flujo de más de 1.000 puntos de datos por segundo, han podido encontrar correlaciones entre cambios extremadamente menores y problemas más graves. En última instancia, esta tecnología permitirá a los médicos tomar medidas tempranas que podrían salvar vidas.
El impacto del big data irá mucho más allá de la medicina y los bienes de consumo: cambiará profundamente la forma en que opera el gobierno y la naturaleza de la política. Aquellos que puedan utilizar big data con eficacia tendrán una enorme ventaja sobre los demás cuando se trate de impulsar el crecimiento económico, prestar servicios públicos o conducir la guerra. Hasta ahora, los resultados más interesantes se han obtenido a nivel municipal, donde es más fácil obtener datos y realizar experimentos con la información. El alcalde de la ciudad de Nueva York, Michael Bloomberg (que hizo su fortuna en la industria de los datos) encabeza un esfuerzo en el que la ciudad está utilizando big data para mejorar los servicios públicos y reducir costos. Un ejemplo son las nuevas estrategias de prevención de incendios.
Los edificios con particiones interiores ilegales tienen muchas más probabilidades de incendiarse que otros edificios. La ciudad de Nueva York recibe 25.000 quejas sobre hacinamiento cada año, pero sólo tiene 200 inspectores para manejar las quejas. Un equipo de expertos en análisis de la alcaldía cree que los big data pueden ayudar a abordar esta brecha en la demanda y los recursos. El equipo creó una base de datos de los 900.000 edificios de la ciudad y agregó datos recopilados por 19 departamentos de la ciudad: registros de impuestos incautados, uso anormal de servicios públicos, atrasos en los pagos, cortes de servicios, uso de ambulancias, tasas de criminalidad local, quejas de ratas, ese tipo de cosas. Luego, compararon esta base de datos con registros de incendios de edificios clasificados por gravedad durante los últimos cinco años, con la esperanza de encontrar correlaciones. Efectivamente, el tipo de edificio y el año de construcción fueron factores asociados con los incendios. Sin embargo, un resultado menos esperado fue una correlación entre los edificios con permisos para albañilería exterior y tasas más bajas de incendios graves.
Utilizando todos estos datos, el grupo construyó un sistema que les ayuda a determinar qué quejas de hacinamiento en viviendas necesitan atención urgente. Las diversas características del edificio que registraron no fueron la causa del incendio, pero se correlacionaron con un aumento o disminución del riesgo de incendio. Este conocimiento ha demostrado ser extremadamente valioso: en el pasado, sólo el 13% de las veces un inspector de edificios estaba disponible para emitir una orden de desalojo, pero con el nuevo enfoque, esta tasa aumentó al 70%: una enorme mejora en la eficiencia.
Desafíos y limitaciones del Big Data
El big data también está ayudando a aumentar la transparencia en los gobiernos democráticos. Se ha formado un movimiento basado en el concepto de “datos abiertos”, con demandas que van más allá de las leyes de libertad de información que ahora son comunes en las democracias avanzadas. Los partidarios del movimiento están pidiendo a los gobiernos que pongan a disposición del público grandes cantidades de datos comunes.
Al mismo tiempo, a medida que los gobiernos promueven el uso de big data, también necesitan proteger al público de los monopolios de mercado injustos. Las regulaciones que rigen los big data pueden incluso convertirse en un campo de batalla entre naciones. Los gobiernos europeos ya están tomando medidas enérgicas contra Google por cuestiones antimonopolio y de privacidad. Facebook podría ser el objetivo de acciones similares en todo el mundo porque posee gran cantidad de datos personales. Los diplomáticos deberían prepararse para una batalla sobre si deben tratar el flujo de información del mismo modo que el libre comercio.
Los macrodatos seguramente cambiarán la forma en que las personas viven, trabajan y piensan. Una visión del mundo basada en un énfasis en la causa y el efecto está siendo desafiada por un enfoque en la correlación. La posesión de conocimiento alguna vez significó conocimiento de la historia, pero ahora significa la capacidad de predecir el futuro. Resolver los desafíos que plantea el big data no será fácil.
En un mundo donde las decisiones están cada vez más impulsadas por datos, ¿de qué sirven las personas, la intuición o el desprecio imprudente por los hechos? Si todo el mundo recurre a los datos y aprovecha las herramientas de big data, entonces la imprevisibilidad (como el instinto humano, la asunción de riesgos, los accidentes e incluso los errores) puede ser la clave de la diferenciación.
Si ese es el caso, entonces es necesario que haya un lugar dedicado al elemento humano: espacio para la intuición, el sentido común y la suerte, para garantizar que no se vean desplazados por los datos y las respuestas generadas por máquinas.
Esto tendrá un impacto importante en el concepto de progreso social. Los macrodatos nos permiten realizar experimentos más rápido y explorar más pistas. Estas ventajas deberían conducir a una mayor innovación. Pero a veces, la chispa de la invención es algo que los datos no pueden expresar. Si Henry Ford hubiera recurrido a un sistema de algoritmos de big data para estudiar lo que querían los clientes, la respuesta obtenida por el sistema de algoritmos habría sido "caballos más rápidos" y la famosa línea de producción de automóviles de Ford no habría existido. En el mundo del big data, lo que hay que cultivar son precisamente las características más estrechamente relacionadas con el ser humano: la creatividad, la intuición y la ambición, porque la inteligencia humana es la fuente del progreso.
El big data es un recurso y una herramienta. Su objetivo es informar, no explicar; pretende promover la comprensión, pero aún así puede conducir a malentendidos; la clave es qué tan bien uno lo comprende. Hay que adoptar esta tecnología con una actitud que no sólo aprecie su poder sino que también reconozca sus limitaciones.