Cómo rastrear y analizar datos públicos de Internet

Introducción: Internet contiene ricos recursos de datos públicos. Obtener estos datos como apoyo auxiliar para la investigación urbana es una de las habilidades necesarias para los futuros investigadores urbanos. En el futuro cercano, continuaremos presentando algunos simples. Interesantes aplicaciones de análisis de datos públicos.

En el campo de Internet, la captura de datos se denomina "recopilación". Con la ayuda de herramientas de recopilación, se pueden capturar rápidamente todos los datos del sitio web y, si estos datos pueden ayudar a algunos de nuestros usuarios. Entonces vale la pena aprender esta herramienta y método para la toma de decisiones. (La herramienta de captura de datos en este artículo es el software "Locomotive")

Zheng Xiaowei del Centro Experimental de Análisis, Simulación y Experiencia Urbana de la Universidad de Arquitectura y Tecnología de Xi'an compartió con nosotros su experiencia en abierto. Métodos de adquisición de datos y experiencia en tecnología de análisis aplicado.

Conocimientos básicos sobre datos abiertos (big data)

La diferencia entre datos abiertos y big data

Datos abiertos: sitios web comerciales (Dianping, Anjuke, etc. ) datos, datos de plataformas abiertas de mapas, datos de redes sociales (Sina Weibo), datos de divulgación de asuntos gubernamentales, etc.

Big data: datos de señalización de teléfonos móviles, datos de automóviles flotantes (como GPS de vehículos, tarjetas de autobús, tarjetas de metro), etc.

Big data son aproximadamente datos de muestra completos, mientras que los datos abiertos son datos de muestra no completos: