Después de leer en la era del big data

"Big Data Era" es un trabajo pionero en la investigación de sistemas de big data extranjeros. El autor de este libro, Victor Meier Schonberger, es conocido como la "primera persona en la aplicación comercial de big data". Tiene experiencia docente en muchos centros de investigación de Internet, como la Universidad de Harvard, la Universidad de Oxford, la Universidad de Yale y la Universidad Nacional de Singapur. Ya en 2010, publicó un estudio prospectivo de 14 páginas sobre big data. Aplicaciones en The Economist. La siguiente es una reseña de muestra de este libro, bienvenido a leer.

Revisión de la era del Big Data (1)

Ya no nos interesa buscar relaciones causales, pero deberíamos hacerlo. buscar correlaciones entre las cosas relación. Esta propuesta es mi mayor sentimiento después de leer este libro. Personalmente creo que también es la idea central de este libro. Empecemos desde el principio. En primer lugar, el libro presenta una propuesta que subvierte mi comprensión anterior: "No son los átomos, sino la información, la fuente de todo". Nosotros obtuvimos una perspectiva sin precedentes. Es una cosmovisión que impregna todos los ámbitos de la vida. Esta proposición se describe en un pasaje de la última parte del libro. La razón por la que lo pongo en la parte superior es porque creo que este es el requisito previo para hablar del mundo digital y, naturalmente, también es el requisito previo para hablar de big data. Hay una sección en la mitad del libro que habla sobre la diferencia entre datificación y digitalización. Después de ordenar mi propio cerebro, enumeré la propuesta de un mundo basado en datos como el segundo paso en el pensamiento de big data. Mientras escribo esto no puedo evitar reflexionar sobre si he entendido la esencia del libro (la esencia en mi opinión), que es la primera frase. Porque, mirando hacia atrás en toda mi línea de pensamiento, todavía pienso en los problemas de acuerdo con el antiguo modelo de pensamiento de relación de causa y efecto. Otra cosa que me atrajo del libro es que se analizan muchos puntos de vista desde una perspectiva filosófica. Aunque no tengo mucha tinta en el estómago, cuando lea estas descripciones descubriré que comprenderé mejor las proposiciones planteadas por el autor. Por ejemplo, hay un pasaje en el libro

Cuando decimos que los humanos comprendemos el mundo a través de relaciones causales, nos referimos a los dos métodos básicos que utilizamos para comprender y explicar diversos fenómenos del mundo: uno es a través de causa y efecto rápidos e ilusorios, y otro es a través de causa y efecto lentos y metódicos. Los macrodatos cambiarán el papel que desempeñan estos dos enfoques básicos en la forma en que entendemos el mundo.

Al adjuntar algunos ejemplos y observar la "esencia" aportada por el autor, es fácil entender que efectivamente así es. Bien, entonces, ¿qué ha cambiado exactamente el big data para nosotros? El autor da tres puntos.

La esencia del big data radica en los tres cambios cuando analizamos la información. Estos cambios cambian la forma en que entendemos y organizamos la sociedad. método.

El primer cambio es que en la era del big data, podemos analizar más datos y, a veces, incluso podemos procesar todos los datos relacionados con un fenómeno especial, en lugar de depender del muestreo aleatorio (muestra = total )

El segundo cambio es que hay tantos datos de investigación que ya no estamos interesados ​​en buscar precisión

El tercer cambio es impulsado por los dos primeros cambios, es decir, Ya no estamos interesados ​​en buscar relaciones causales, sino que deberíamos buscar correlaciones entre las cosas. Los macrodatos nos dicen “qué” en lugar de “por qué”. En la era del big data, no es necesario conocer las razones detrás de los fenómenos, sólo debemos dejar que los datos hablen por sí solos.

Como todo el mundo sabe, el cerebro humano tiene la función de comparar los estímulos o la información recién ingresados ​​con experiencias pasadas o conocimientos parciales acumulados, para luego ajustarlos y aceptarlos. Si la nueva realidad que tienes ante ti no puede conciliarse con la información inherente almacenada en el cerebro, inconscientemente te negarás a aceptar la nueva realidad (como si no la hubieras visto o especularás arbitrariamente a través de tu propia comprensión a medias); conocimiento, haciendo que la situación de la que te das cuenta se desvíe de la realidad (produce una ilusión). Este es un instinto humano para mantener la calma.

Por eso el autor lo llama revolución.

Dicho todo lo anterior, ¿qué nos aporta exactamente el big data? Aquí solo quiero hablar de lo que siento más profundamente, y otros que estén interesados ​​pueden aprender sobre ello por sí mismos. Por supuesto, el libro menciona muchas cosas, la más común es cuánta riqueza han creado XXX empresas o individuos mediante el uso de big data. Dejando de lado estas cosas superficiales, lo que más me emociona o asusta es la predicción.

Esto es lo fundamental que aporta el big data. No es necesario explicar las razones por las que te sientes tentado. La computadora te dirá cuándo comprar qué bola de dos colores ganará el premio mayor. entusiasmado. Por supuesto, esto es sólo una metáfora exagerada que hice. En cuanto al miedo, hay un pasaje en el libro que me gusta mucho

La base de la equidad y la justicia es que las personas sólo necesitan ser responsables de algo si lo hacen. Después de todo, no lo es. es un delito querer hacer algo pero no hacerlo, y la sociedad está relacionada con el individuo. El principio básico de la responsabilidad es que las personas son responsables de las acciones que eligen. Si el análisis de big data es completamente preciso, entonces nuestro futuro se predecirá con precisión. Por lo tanto, en el futuro, no solo perderemos el derecho a elegir, sino también a actuar de acuerdo con la predicción. Si las predicciones precisas se hacen realidad, perderemos nuestro libre albedrío y el derecho a elegir libremente. Como no tenemos otra opción, no necesitamos asumir la responsabilidad. ¿No es esto irónico?

Por cierto, aquí hay otra descripción del libre albedrío en el libro.

En el mundo filosófico, el debate sobre la existencia de la causalidad se ha prolongado durante siglos. Después de todo, si todo tuviera una causa y un efecto, entonces no tendríamos libertad para decidir nada. Si cada decisión que tomamos o cada pensamiento que tenemos es resultado de algo más. Y este resultado se debe a otras razones. Si este ciclo continúa, entonces no existe el libre albedrío humano. ?Todas las trayectorias de la vida sólo están controladas por causa y efecto. Así, los filósofos debaten el papel de la causalidad en el mundo, a veces argumentando que se opone al libre albedrío.

El libro dio un ejemplo de la película "Minority Report". Cuando vi esto, "Oh, de hecho vi esta película. ¿Todavía estaba un poco emocionado cuando pensé en ella?". si estás interesado, puedes leerlo. Se trata de que la policía utilice la predicción para arrestar a los delincuentes con antelación, pero no mediante big data, sino mediante medios sobrehumanos. Cuando todas tus acciones pueden predecirse, equivale a estar completamente expuesto al sol. Si fuera tú, ¿no tendrías miedo?

Finalmente adjunto dos párrafos de conclusión, uno es un pasaje del libro, y el otro es elaborado por mí.

Big data no es un mundo frío lleno de algoritmos y máquinas, y el papel de los humanos aún no puede ser reemplazado por completo. Lo que nos proporciona big data no es la respuesta final, sino solo una respuesta de referencia. La ayuda es temporal, pero aún habrá mejores métodos y respuestas en el futuro cercano.

El big data acabará por afectarnos y, como otras tecnologías, será un arma de doble filo: úsalo bien, ten la tentación, abusa de él y ten miedo. Al igual que la tecnología nuclear, si la usas, beneficiará a la Tierra. Si abusas de ella, si le das un diamante a la Tierra, igualmente explotará. Creo que el futuro desarrollo del big data será, como dijo el autor, una revolución en la vida, el trabajo y el pensamiento.

Reflexiones posteriores a la lectura sobre la era del big data (2)

La “computación en la nube” del año pasado estaba en pleno apogeo, pero el “big data” de este año ha vuelto repentinamente. Como de la noche a la mañana, todos los fabricantes han cambiado sus pancartas y han promocionado el "big data". Como resultado, los CIO de varias empresas también han centrado su atención en la llegada del "big data". Hay una caricatura muy vívida del "Programador" Weibo. Creo que este panorama refleja verdaderamente la situación actual de la computación en la nube y los big data en las pequeñas y medianas empresas.

Pero claro, "Big Data Era" es un buen libro.

Por supuesto, muchas celebridades de TI también lo recomiendan encarecidamente. Escribieron muchos comentarios para expresar su amor por este libro. Antes de leerlo, estaba básicamente confundido acerca del concepto de los llamados big data. Aunque he prestado atención a BI, que es bastante popular ahora, creo que es similar. Puede significar más datos, análisis de datos más detallados y extracción de datos. Después de leer este libro, siento que mi idea anterior solo puede considerarse como una pequeña parte del éxito: una gran cantidad de datos. Por otro lado, centrarse en la correlación de los datos en lugar de la precisión de los datos puede ser la clave de la relación entre ellos. big data y datos. La mayor diferencia en el BI actual no es solo el método, sino también la forma de pensar. Pero, francamente, realmente lleva tiempo probar si la correlación de los datos es mejor o si la precisión de los datos es mejor. Al menos desde el método de análisis de datos actual, se inclina más hacia la precisión de los datos.

Después de leer este libro, tengo algunas preguntas en mente:

1. ¿Qué es big data?

Revisé la Enciclopedia Baidu y se define de la siguiente manera: big data (bigdata). , o Gran cantidad de datos se refiere a la cantidad de datos involucrados que es tan grande que no se pueden capturar, administrar, procesar y organizar en un tiempo razonable a través de las herramientas de software actuales para ayudar a las empresas a tomar decisiones comerciales más positivas. Las características de 4V del big data: volumen, velocidad, variedad, veracidad: esta parece ser la definición de IBM.

Desde un punto de vista personal: Los datos masivos y el almacenamiento masivo son los prototipos básicos del big data.

2. ¿Para qué tipo de empresa es adecuado el big data?

Es cierto que la premisa del big data son datos masivos. Solo con grandes recursos de datos podemos encontrar los datos. La relevancia puede permitir que el procesamiento profesional genere valor para la empresa. Para las operaciones de telecomunicaciones y las aplicaciones de Internet, las grandes empresas con grandes cantidades de datos de usuarios también tienen condiciones únicas para aplicar big data, pero ¿qué pasa con los datos de pedidos de ventas de las pequeñas y medianas empresas? Se estima que es lamentable 5. Lo único que se puede utilizar pueden ser los datos del consumidor. Parece que para la mayoría de los fabricantes, el análisis del comportamiento de compra de los consumidores es el ejemplo más común. De manera similar, en agencias gubernamentales como las instituciones públicas, los macrodatos también pueden desempeñar un buen papel. Por el contrario, creo que la aplicación de big data en la mayoría de las pequeñas y medianas empresas parece un poco complicada. El libro dice: Big data es la competitividad de las empresas. Es cierto que los datos son el recurso intangible central de una empresa (si se usan bien), pero ¿es realmente apropiado que todos los datos se utilicen en las pequeñas y medianas empresas? En otras palabras: ¿todas las empresas utilizan big data como factor de competitividad?

3. El impacto del big data

Cuando las oleadas de auges de la tecnología de TI sigan azotándonos, A veces ni siquiera estás preparado para el impacto que tendrá en ti. Con la ayuda del Internet de las cosas y la computación en la nube, el big data ha comenzado a aparecer. Pero, ¿qué nos aporta exactamente?

1) El libro Predecir el futuro comienza con un caso en el que Google predijo con éxito la posible aparición de gripe en el futuro, demostrando que mediante la aplicación de big data, nuestras vidas cambian. puede mejorarse. La esencia es simple, la tecnología cambia el mundo.

2) Las oportunidades comerciales que brinda la transformación del big data comercial también derivarán en una serie de oportunidades comerciales y modelos comerciales relacionados con el big data. El valor potencial de los datos seguirá desempeñando un papel. fácil de imaginar Es una cadena de la industria de datos que tendrá recopilación, análisis y generación de datos especializados en el futuro. El mayor impacto, por supuesto, son las empresas de TI.

3) Como se menciona en el libro sobre el pensamiento del cambio: debido a que existe una gran cantidad de datos como base, es posible que en el futuro prestemos más atención. a la correlación de datos más que a su precisión. Todavía tengo reservas sobre esto.

Reflexiones posteriores a la lectura en la era del big data (3)

Hoy en día, cuando se habla de nuevos medios e Internet, hay que mencionar el big data Parece que si no. No lo digas, quedarás fuera. Además, la mayoría de la gente sigue lo que dice y muchos comentaristas ni siquiera han leído con atención el trabajo clásico en este ámbito "La era del Big Data" de Schönberger. ¿Quién es Victor Meier Schonberger? Actualmente es profesor de gobernanza y supervisión en el Instituto de Internet de la Network School de la Universidad de Oxford y fue director del proyecto de investigación de supervisión de la información en la Kennedy School de la Universidad de Harvard. Entre sus clientes de consultoría se encuentran las principales empresas del mundo, como Microsoft, HP e IBM. Es el verdadero formulador y participante detrás de la política oficial de Internet de la UE. También ha servido como grupo de expertos para gobiernos de alto nivel en muchos países. Este profesor de Oxford que es conocido como: el profeta en la era del big data es realmente asombroso. Entonces, ¿lo que dijo este maestro son reglas de oro? No necesariamente debes hacer algunos deberes antes de poder comprender las obras del maestro. Si has hecho suficientes deberes y tienes la base teórica correspondiente, puedes mantener un diálogo ideológico con ellos.

Schonberg analiza el big data en tres partes: cambio de pensamiento, cambio de negocio y cambio de gestión.

En la primera parte, "Pensando en los cambios en la era del Big Data", Schonberger expresó claramente sus tres puntos de vista: 1. Más: no muestras aleatorias, sino todos los datos 2. Más diversos: no precisión, pero hibridación, tercero, mejor: no causalidad; , pero correlación. No estoy de acuerdo con el primer punto de vista. Por un lado, es muy difícil procesar todos los datos en términos de tecnología y equipamiento. Por otro lado, ¿es esto necesario? ¿El análisis de datos para juzgar hechos simples también necesita recopilar todos los datos? Una vez lo hablé con el profesor Zhu Jianhua de la Universidad de la ciudad de Hong Kong. El profesor Zhu es un experto en métodos de investigación de comunicaciones y análisis de datos. Cree que se puede encontrar un método estadístico matemático para el análisis, que no necesariamente requiere todos los datos. En relación con la correlación mencionada en el segundo punto de vista de Schoenberg, entiendo que los datos totales que dijo no se refieren a la cantidad sino al rango, es decir, las muestras aleatorias de big data no se limitan a los datos objetivo, sino que también incluyen. todos los datos excepto el objetivo. Creo que el análisis de big data no puede descartar el muestreo aleatorio, pero es necesario ampliar el método y el alcance del muestreo.

Estoy de acuerdo con el segundo punto de vista de Schoenberg. Creo que es un buen complemento a su primer punto de vista. También es una reflexión sobre la comunicación y el marketing de precisión. ?Los algoritmos simples para big data son más eficientes que los complejos para datos pequeños. ?Más visión macro y pensamiento filosófico oriental. No puedo estar totalmente de acuerdo con el tercer punto de vista de Schonberger. ?No causalidad, sino correlación. ?No necesitas saber ?por qué?, sólo necesitas saber ?qué?. La comunicación son datos y los datos son relaciones. En la era de los datos pequeños, la gente solo se preocupa por la causalidad y no tiene una comprensión suficiente de la correlación. En la era de los grandes datos, la correlación es tan importante que no se puede exagerar, pero tampoco se debe rechazar por completo. ¿De dónde viene el big data? ¿Por qué se utiliza? Si ignoramos por completo la relación causal y no conocemos las causas y consecuencias del big data, se eliminará el valor humanista del big data. Hoy en día, para explicar y difundir sus puntos de vista, muchos académicos suelen hacer declaraciones impactantes y negar por completo viejas ideas.

La complejidad y diversidad de todas las cosas en el mundo no son tan simples como una u otra. ¿Tiene Schonberger también este tipo de pensamiento ingenuo de oposición binaria? De hecho, los lectores deben verlo claramente al leer. ¿En qué contexto se dijo? No caigas en malinterpretarlo fuera de contexto por una lectura superficial. Por ejemplo, Schonberger propone que no se trata de una relación causal, sino de una correlación. ?Al hacer esta afirmación, también dijo en el libro: ?En la mayoría de los casos, una vez que hayamos completado el análisis de correlación de big data y ya no estemos satisfechos con solo saber?¿qué?, continuaremos investigando la relación de causa y efecto en a un nivel más profundo y descubra el "por qué" detrás de esto. ?[i] Se puede ver que todos los datos y relaciones relacionadas que mencionó están en un contexto específico y son opciones en la minería de datos.

Una de las fuerzas impulsoras de la investigación de big data es el uso comercial. En la segunda parte, Schonberger analiza los cambios empresariales en la era del big data. Schonberger cree que la dataización significa que todo se puede "cuantificar". El análisis cuantitativo de big data puede responder eficazmente a la pregunta "qué", pero aún no puede responder completamente al "por qué". Por tanto, creo que no se pueden descartar el análisis cualitativo y la investigación cualitativa. No hay duda de que la innovación de datos puede crear valor. Al discutir el posicionamiento de roles de big data, Schonberger todavía lo colocó en el sistema empresarial de aplicación de datos, en lugar de colocarlo en todo el sistema social, pero lo discutió en la segunda parte del cambio de gestión en la era de big data. Esta pregunta. En una sociedad de riesgo, los problemas de seguridad de la información son cada vez más prominentes y la dictadura de datos y la protección de la privacidad se han convertido en una contradicción. ¿Cómo deshacerse del dilema del big data? Schonberger intentó responder en el último apartado "Control", pero es básicamente un cliché. Creo que tal vez "Losing Control" de Kevin Kelly pueda ayudarnos a responder esta pregunta. Al menos puede proporcionar más dimensiones para pensar. Como dijo Schonberger en la conclusión: Big Data no es un mundo frío lleno de algoritmos y máquinas, y el papel del ser humano todavía no puede ser reemplazado por completo. Lo que nos proporciona big data no es la respuesta final, sino solo una respuesta de referencia. La ayuda es temporal, pero aún habrá mejores métodos y respuestas en el futuro cercano. ?Gracias Schonberger! ¡Que el debate sobre big data vuelva de las ciencias naturales a las humanidades y las ciencias sociales! De esto se puede inferir que la "era del Big Data" no es la respuesta final, ni una respuesta estándar, es solo una respuesta de referencia.

Además, debe tener algunos conocimientos y conceptos básicos de ciencia de datos antes de leer este libro, como ¿qué son los datos? ¿Qué son los big data? ¿La diferencia entre el análisis de datos y la minería de datos, la digitalización y la datificación? ¿Cuál es la diferencia? Será más fácil de entender si haces algunos deberes antes de leer.