Cómo usar Python y R para procesar big data de manera eficiente y elegante

1. En términos de clasificación, ambos lenguajes tienen sus propias ventajas:

(1) La ventaja de Python no es la eficiencia operativa, sino la eficiencia del desarrollo y la alta capacidad de mantenimiento. . Python es muy eficiente en la carga y distribución de datos; si desea encontrar algunas estadísticas de uso común y los resultados de algunos algoritmos básicos, Python también tiene bibliotecas eficientes y listas para usar; si simplemente escribe el algoritmo usted mismo, no hay otra cosa; De esta manera, no se puede utilizar ninguna biblioteca como referencia.

(2) R es principalmente un lenguaje desarrollado por estadísticos para resolver problemas en el campo del análisis de datos. Las ventajas del lenguaje R son:

Estadísticos y casi cubren todas las estadísticas. -Algoritmos de vanguardia en el campo (3700 paquetes de expansión); código fuente abierto (gratis, en ambos sentidos), que se puede implementar en cualquier sistema operativo, como Windows, Linux, Mac OS X, BSD, Unix. plataforma de análisis estadístico y minería de datos extensa y de calidad; trabajo de análisis repetitivo (Sweave = R LATEX), con la ayuda de la poderosa capacidad de análisis del lenguaje R y la perfecta capacidad de composición tipográfica de LaTeX, se pueden generar automáticamente informes de análisis, incluida una escalabilidad conveniente; a través de la interfaz correspondiente Conéctese a bases de datos, como Oracle, DB2, MySQL, e interopere con Python, Java, C, C y otros lenguajes, y proporcione interfaces API a las que se pueda llamar, como Google, Twitter, Weibo y la mayoría de los demás. El software estadístico puede llamar a R, como SAS, SPSS, Statistica, etc., e incluso algunas aplicaciones comerciales más directas, como Oracle R Enterprise, IBM Netezza, complemento R para Teradata, SAP HANA, Sybase RAP.

2. Cómo afrontarlo con elegancia es un trabajo para un artista. Si has visto una charla TED, puedes ver muchos resultados de análisis de datos visuales, que son muy interesantes.

3. En resumen, en primer lugar, debemos aclarar el núcleo del problema y el método de investigación para un problema específico; luego, seleccionar las herramientas adecuadas para el análisis, finalmente, a través de la Imaginación artística; , expresado claramente a través de la visualización de datos.