Supercomputación en la investigación de las ciencias de la tierra

Wang Qun

1 Introducción

Las ciencias de la Tierra, incluidas la geología, la geografía, la atmósfera, los océanos y muchas otras disciplinas, son una ciencia natural que se enfrenta directamente a los seres humanos y parte de la relación natural. Las ciencias de la Tierra no sólo son un canal para la comprensión de las esferas sólida, líquida y gaseosa de la Tierra y su relación con el ser humano, sino que también contribuyen a los campos de los recursos, la energía, el medio ambiente y la ciencia y la tecnología a través de actividades de práctica científica y tecnológica en minerales. la prospección, la predicción meteorológica, la hidrología, la topografía y la cartografía, los terremotos y otras disciplinas, la prevención de desastres, la reducción de desastres y otros aspectos sirven directamente a la economía social.

La tecnología de comunicaciones por satélite, la tecnología de redes y la tecnología informática han cambiado el modelo tradicional de investigación en geociencias. El desarrollo de la teledetección, la tecnología de la información y diversas tecnologías de observación y análisis en tiempo real ha llevado a las ciencias de la tierra a una nueva etapa de la ciencia del sistema terrestre que cubre todo el mundo y atraviesa círculos. Avanza desde la descripción de fenómenos locales hasta la exploración de. mecanismos a escala planetaria y obtiene información global y sistémica.

En términos de aplicación, el papel de las ciencias de la tierra es casi omnipresente, desde la industria extractiva, la industria y la agricultura hasta la planificación de la construcción, el turismo y el ejército, todos son campos en los que se utilizan las ciencias de la tierra. Además, el deterioro ambiental y las consecuencias de los desastres naturales que han ocurrido con el desarrollo de la sociedad han provocado que las ciencias de la tierra, que originalmente estaban principalmente orientadas a los recursos, se hayan desarrollado hacia el medio ambiente y la reducción y prevención de desastres, ampliando así los campos en los que Las ciencias de la tierra sirven a la sociedad.

La aplicación de métodos de detección modernos y tecnología de la información ha generado datos espaciales geológicos de nivel PB/TB, que requieren más de billones de supercomputadoras para procesarlos, interpretarlos, accederlos y utilizarlos. Por otro lado, el desarrollo del entorno de información y comunicación digital también ha cambiado los medios y métodos de la investigación tradicional sobre temas básicos. Un equipo de investigación multidisciplinario es una garantía importante para la finalización de la investigación científica y la implementación de ingeniería a gran escala. La tecnología avanzada de supercomputadoras y computación grid proporciona una plataforma multidisciplinaria de recursos compartidos para la investigación interdisciplinaria básica. Desde 2002, Estados Unidos, el Reino Unido, Japón, Australia y la Unión Europea han lanzado proyectos de "e-investigación" o "e-ciencia", con inversiones que oscilan entre 100 millones y 1.000 millones de dólares. utilizar tecnología grid y middleware La tecnología conecta supercomputadoras en universidades o laboratorios de investigación en todo el país o a nivel regional para formar una plataforma virtual colaborativa multidisciplinaria para compartir recursos. Al mismo tiempo, los países desarrollados avanzados están estableciendo plataformas multidisciplinarias para compartir recursos con las ciencias de la tierra como núcleo.

2 Supercomputadoras

Como lo explica la ley de Moore, la velocidad de funcionamiento de las computadoras está aumentando rápidamente (se duplica cada 18 meses), los costos de fabricación están cayendo drásticamente y los costos de las supercomputadoras tienden a ser razonables. Actualmente, la mayoría de las universidades de mi país pueden permitirse el lujo de comprar una supercomputadora con una potencia informática de teraflop. Según las últimas estadísticas sobre el rendimiento de los superordenadores TOP500 (a diciembre de 2004), 358 de ellos se instalaron recientemente en 2004 y 95 en 2003. En conjunto, representan más del 90% de las 500 computadoras más rápidas del mundo, como se muestra en la Tabla 1. Acelerar los ordenadores ya no es un problema técnico. La clave está en el desarrollo de sistemas de software, y ese es nuestro eslabón débil.

En el campo de la investigación de temas básicos, las ciencias de la tierra son el campo donde los supercomputadores se utilizan más ampliamente. Según las últimas estadísticas de TOP500 (a diciembre de 2004), como se muestra en la Tabla 2, entre las 500 supercomputadoras de mayor rendimiento, la geofísica representa 51, lo que representa más de 10 del total. Si a eso le sumamos la investigación meteorológica y meteorológica, la predicción del tiempo, etc., las ciencias de la tierra ocupan una proporción aún mayor de las supercomputadoras.

Tabla 1

Tabla 2

En la actualidad, muchas universidades e instituciones de investigación de mi país también han llevado a cabo investigaciones sobre arquitectura de supercomputación, por ejemplo, Linux. El sistema operativo es el principal sistema de arquitectura informática del clúster. Esta arquitectura proporcionó una solución viable para las tareas de supercomputación cuando las computadoras centrales y las supercomputadoras eran costosas. Pero ahora ya no puede cumplir con los requisitos de cálculos a mayor escala. Sus principales problemas son el rendimiento deficiente, la baja confiabilidad, el mantenimiento difícil, la escalabilidad deficiente y la seguridad deficiente. Los investigadores gastan demasiada energía en la construcción del sistema y el costo no es necesariamente bajo.

En 2003, el Dr. Chen Shiqing, académico de la Academia Estadounidense de Ciencias y portada de la revista Time, regresó a China e inventó la computadora superblade en Shenzhen Shell Xingying Company. El Dr. Chen Shiqing también es líder en el desarrollo de las mundialmente famosas supercomputadoras CRAY CRAY-MP e Y-MP.

El concepto de diseño de "palas" del Super Blade Computer es similar a las "palas" de turbina de un motor a reacción. Estas "cuchillas" se pueden quitar y reemplazar en cualquier momento, y se pueden torcer para generar energía poderosa. La computadora súper blade aprovecha al máximo este concepto de diseño, explica lo profundo de una manera simple, simplifica lo complejo y adopta tecnología completamente nueva. La actualización de los nodos informáticos solo requiere agregar "blades" sin necesidad de volver a cablear ni configurar. Este tipo de computadora es como un motor lleno de "aspas". Cada "aspa" es una unidad informática que, en teoría, se puede expandir infinitamente y se puede agregar y reemplazar en cualquier momento sin apagarse. La computadora Super Blade adopta un concepto de diseño y una arquitectura de sistema completamente nuevos, y su velocidad de computación puede exceder los 50 billones de números de punto flotante por segundo, alcanzando el nivel de las supercomputadoras en países avanzados como Estados Unidos y Japón. La computadora super blade tiene vitalidad, seguridad y confiabilidad duraderas, una relación precio-rendimiento razonable, modo de colaboración en tiempo real y otras prestaciones.

3 Cuestiones de supercomputación en la investigación de las ciencias de la tierra

Las cuestiones de supercomputación en la investigación de las ciencias de la tierra incluyen: procesamiento e interpretación de datos sísmicos, procesamiento e interpretación de información de teledetección, sistemas de información geográfica a gran escala, geología Procesamiento y visualización de datos espaciales, simulación dinámica de diversos fenómenos naturales como la tierra, la atmósfera y el océano, como terremotos, inundaciones, tormentas de arena, etc., simulación de estructuras geológicas de ingeniería, simulación de dinámica molecular de materiales, etc. Además, en la investigación de las ciencias de la Tierra, hay muchos supercomputadores que involucran problemas multidisciplinarios e interdisciplinarios. Algunas ediciones se encuentran en modo de flujo de trabajo colaborativo y en tiempo real.

4 Supercomputación basada en redes de alto rendimiento

Con el desarrollo y aplicación de las computadoras y la tecnología de la información, especialmente la construcción y aplicación de redes de alta velocidad y equipos relacionados, ha tenido un profundo impacto afectados Los métodos de investigación científica han cambiado los medios de investigación y, al mismo tiempo, han llevado al surgimiento de los conceptos de e-Investigación y e-Ciencia.

La e-Ciencia es la definición de una infraestructura de investigación científica a muy gran escala que requiere la colaboración de científicos globales y utiliza Internet y tecnologías relacionadas. Una de las características más típicas de esta investigación científica colaborativa es que los científicos necesitan acceder a conjuntos de datos masivos, utilizar instalaciones de investigación científica únicas, consumir una gran cantidad de recursos informáticos científicos y realizar análisis, modelado y visualización de alto rendimiento. Otro aspecto importante de esta investigación a ultra gran escala es que proporciona una plataforma interdisciplinaria para el intercambio de información entre científicos e interdisciplinarios, y para la germinación de nuevos conceptos.

e-Research es una definición más general y un resumen de e-Ciencia, que incluye comportamientos y actividades de investigación no científicas. Por ejemplo, la e-Research incluye investigaciones en antropología y sociología. Para trabajar en colaboración y compartir conocimientos, la e-Research también tiene las características de utilizar recursos informáticos distribuidos.

Grid Technologies juega un papel importante en el desarrollo de la e-Investigación y la e-Ciencia. Así como los consumidores y las empresas obtienen acceso a la electricidad, Grid permite a los investigadores e instituciones de investigación acceder a almacenes de datos distribuidos, equipos científicos especializados, servicios de conocimiento y computación poderosa de una manera definida a través de la red. Pueden lograr un intercambio de conocimientos flexible y seguro y coordinar la solución de problemas de investigación científica entre investigadores individuales, instituciones de investigación y combinaciones dinámicas de recursos. Este enfoque también suele denominarse organización virtual.

La infraestructura informática (Ciberinfraestructura) representa un nuevo entorno virtual de conocimiento de ciencia e ingeniería compuesto por computadoras distribuidas, tecnologías de la información y la comunicación. Implementa una plataforma eficiente y diversa para la investigación científica.

Las instalaciones de investigación de ciencias básicas están cambiando a medida que los científicos descubren nuevos conocimientos, participan en modelos interactivos, utilizan simulación y herramientas de simulación y colaboran para resolver problemas científicos y de ingeniería complejos. Los complejos problemas de tecnología científica y de ingeniería requieren que nuestras nuevas instalaciones de investigación científica básica sean plataformas interdisciplinarias, distribuidas, integradas y compartidas. La astronomía, la biología, las geociencias, la salud pública y los nanomateriales a menudo requieren conocimientos de integración de información, análisis de datos y seguridad*** Disfrute. Todos requieren acceso seguro, operable y continuo a dispositivos físicos (como computadoras, conjuntos de discos, instrumentación, etc.), datos e información (grandes conjuntos de datos, bases de datos comerciales y científicas, bibliotecas de información y software, bibliotecas de videos e imágenes). así como expertos y académicos específicos.

El middleware e-Research es un software con funciones específicas que proporciona gestión de conocimientos, intercambio de conocimientos y comunicación entre sistemas de aplicaciones, recursos informáticos, instituciones de investigación e individuos en toda la infraestructura informática. herramientas y servicios comunes que son un componente importante de la infraestructura informática de e-Research.

Estados Unidos, el Reino Unido, la Unión Europea, Japón, etc. han implementado enormes planes de investigación de infraestructura informática de e-Research. Esperan que el plan pueda aumentar la prosperidad económica y la prosperidad del país a largo plazo. aprovechar la infraestructura proporcionada por El poder de la distribución del conocimiento. Muchos programas de investigación han desarrollado middleware importante y algunos proyectos son programas de cooperación o proyectos de intercambio entre países para desarrollar conjuntamente middleware común en todos los continentes.

A través de la financiación de la Fundación Nacional de Ciencias Naturales (NSF), Estados Unidos está considerando invertir mil millones de dólares adicionales por año para construir y desarrollar un programa de infraestructura informática de alto rendimiento (Programa de Ciberinfraestructura Avanzada), uno -Una tercera parte (aproximadamente 395 millones de dólares) se invertirá en investigación de tecnología middleware y las correspondientes actividades de desarrollo. La Tabla 3 enumera algunos planes importantes de I+D de infraestructura de investigación electrónica y la inversión aproximada en fondos de I+D de middleware.

Tabla 3

Aunque mi país ha invertido una cierta cantidad de fondos de investigación en la construcción de infraestructura informática (ciberinfraestructura), el informe muestra que la eficiencia de utilizarla efectivamente para obtener investigación Los recursos son bajos, consumen mucho tiempo y requieren más mano de obra. Los usuarios se ven obligados a utilizar métodos manuales poco confiables para descubrir recursos adecuados; a veces necesitan negociar con los propietarios de los recursos; a veces necesitan explotar estos recursos a través de medios ineficientes, que consumen mucho tiempo y son costosos; a veces incluso necesitan volar a través de continentes; La falta de conocimiento sobre el acceso a recursos, equipos, servicios y datos de Internet de alta velocidad resulta en oportunidades perdidas. Además, los usuarios también aportan muchos factores inciertos a la seguridad del sistema y es necesario evitar que personal no autorizado invada los recursos. Debido a las imperfecciones en la estandarización, el soporte y mantenimiento del sistema y las interfaces de usuario, los investigadores necesitan invertir más tiempo y esfuerzo en el soporte y mantenimiento del software.

Las ciencias de la Tierra necesitan un entorno de recursos basado en red de alta velocidad, interactivo, colaborativo y de confianza mutua, y el middleware que brinde soporte para servicios de software puede lograr este objetivo. Aunque los investigadores de TIC (tecnología de la información e informática) de mi país han investigado mucho sobre muchas tecnologías y servicios clave de middleware, la mayoría de ellos son grupos de investigación y empresas con una sola disciplina, que carecen de coordinación central y de un controlador de aplicación especial. Por lo tanto, se deberían establecer más mecanismos de coordinación dentro de los proyectos de investigación de middleware de mi país y con los proyectos internacionales de investigación de middleware. Actualmente, la financiación de mi país para la investigación de infraestructura de middleware es limitada y fragmentada, lo que resulta en duplicación e ineficiencia de algunos proyectos.

Nuestro país necesita un programa de investigación de middleware abierto (programa de middleware abierto), que pueda garantizar la integración y coordinación general de estas actividades de investigación, y pueda expandir y transformar el middleware tradicional existente en OMP que cumpla con los estándares internacionales (. Arquitectura de programa de middleware abierto y prestación de servicios en áreas de aplicaciones especiales. Este plan de investigación de middleware también identificará y llenará la brecha entre nosotros y la tecnología de investigación de middleware internacional, y actualizará el software de los proyectos de investigación actuales a software que pueda ser aplicado por instituciones de investigación de e-Research.

El middleware de servicios de red actual (gestión de identidad, control de acceso, gestión de suministros, servicio de reservas, servicio de notificaciones) es muy frágil cuando se ejecuta en la infraestructura informática existente. Los componentes del servicio de red deben diseñarse para que sean más robustos y confiables. Los usuarios pueden acceder de forma totalmente transparente a los equipos, recursos informáticos y de datos compartidos por la red. Necesitamos ampliar la investigación y la inversión en middleware de servicios de red y mejorar su estandarización, solidez y disponibilidad.

Uno de los propósitos importantes de implementar el plan de middleware abierto es resolver y mejorar la interfaz entre los servicios grid de OGSA, el middleware de capa de aplicación basado en Internet, los servicios de gestión de información y biblioteca digital, la gestión de servicios de conocimiento, etc. En los últimos años, el Global Grid Forum (GGF) ha desarrollado especificaciones de infraestructura Grid como Globus Toolkit y Open Grid Services Architecture (OGSA). La Global Grid Alliance (que incluye Globus Alliance, HP e IBM) se ha unido para desarrollar servicios de red en forma de WSRF (WS-Resource Framework). Esto también permitirá al Grid Research Institute aprovechar las tecnologías y herramientas desarrolladas por W3C y OASIS, que han atraído una gran cantidad de inversión de la industria. WSRF y los requisitos técnicos relacionados aún no son un estándar de la industria. Una de las funciones de OMP es rastrear estos desarrollos y garantizar que reflejen y comprendan el estado actual de la investigación electrónica y la tecnología grid en nuestro país.

Las herramientas y servicios de middleware existentes deben recomprenderse y hacerse más confiables y prácticos.

Las herramientas y servicios de middleware existentes deberían ser más operables, agradables, personalizados y capaces de integrarse con marcos y entornos grid más grandes.

Para ello es necesario desarrollar nuevas herramientas y servicios middleware. En ausencia de las siguientes funciones, se debe considerar el desarrollo de nuevo middleware: seguridad de la red, gestión y ensamblaje de la red, adaptación de la calidad del servicio, motores de flujo de trabajo, herramientas de colaboración, indexación semántica multimedia, descubrimiento de servicios inteligentes, soporte de decisiones y determinación de hipótesis. , validación y revisión de datos y conocimientos, mecanismos de representación automatizados, visualización colaborativa, modelado y emulación e interfaces de usuario de red de alta gama diseñadas para científicos de sistemas aplicados.

Existe una gran cantidad de conjuntos de datos heterogéneos en almacenes de datos científicos de dominios específicos, como datos espaciales, datos temporales, imágenes, vídeos, audios, 3D, espectros, gráficos y multimedia, etc. Debe poder almacenar Acceder, compartir e integrarse con recursos de información de otros campos, bibliotecas digitales (artículos y artículos publicados) y sitios web.

Es necesario agregar la capa de red de conocimiento a la red de datos e informática existente. Esto implicará definir la interfaz entre los servicios de gestión de conocimiento y la gestión de red e implementar el servicio de red de conocimiento y el entorno de red integrado.

Aumentar la coordinación del trabajo de investigación y aumentar la inversión financiera puede evitar la duplicación del trabajo y reducir la brecha con la comunidad internacional.

5 Middleware de computación colaborativa

En teoría, el middleware se utiliza entre usuarios, entre sistemas de aplicaciones o entre recursos para resolver problemas científicos y de ingeniería complejos (consulte la imagen a continuación). El middleware proporciona un conjunto común de servicios y herramientas que permiten a los investigadores y a los sistemas de aplicaciones tratar la informática, los almacenes de datos y otros recursos distribuidos como si fueran una instalación virtual muy grande.

El middleware coloca un conjunto de servicios centrales requeridos por el sistema de aplicación en un contenedor estándar y ubicuo. Este producto de servicio universal simplifica el desarrollo de sistemas de aplicaciones, proporciona solidez e interoperabilidad del sistema, reduce muchas tareas repetitivas y mejora la eficiencia en todos los aspectos.

Diagrama de componentes clave de la infraestructura informática

Aunque el middleware se divide aquí en tres tipos de servicios y herramientas, existen otras formas tradicionales de dividir el espacio del middleware. Además, algunos componentes (por ejemplo, seguridad, semántica, procedencia, etc.) en realidad abarcan las tres categorías.

Middleware de gestión de recursos y servicios de red: este middleware incluye una instalación de servicio de red abierta OGS (Infraestructura de servicios de red abierta), que proporciona aplicaciones de alto nivel entre datos de red y recursos informáticos y el uso de estos recursos. , servicios de comunicación, seguridad, autenticación, contabilidad y coordinación entre servicios. La computación y la red de datos dependen del middleware de servicios de red, por lo que esta capa también se denomina middleware de gestión de recursos (Middleware de gestión de recursos).

Middleware de gestión del conocimiento: este middleware proporciona una gran cantidad de servicios y herramientas para implementar la indexación, el archivo, la consulta, el análisis, la integración y la gestión de varios tipos de grandes almacenes de datos y almacenes y expresión de información de vídeo. etc. Estas herramientas permiten la integración y la indexación automática de conjuntos de datos multidisciplinarios y permiten el análisis, el modelado y la visualización interactivos. Las herramientas también pueden extraer, adquirir y publicar nuevos niveles de conocimiento y compartir nuevas anotaciones.

Middleware de colaboración: este middleware proporciona servicios y herramientas para respaldar actividades colaborativas formales e informales, en tiempo real y no real, que pueden ocurrir entre científicos, instituciones de investigación o recursos remotos (virtuales dinámicos y escalables). organizaciones). La Tabla 4 enumera las funciones básicas de estos middlewares que normalmente deben integrarse y desarrollarse en este proyecto de investigación.

Tabla 4

Continúa tabla

6 Conclusión

El desarrollo de la ciencia del sistema terrestre juega un papel importante en el desarrollo sostenible de la economía. y la sociedad.

La investigación sobre la ciencia del sistema terrestre requiere la aplicación de instrumentos científicos a gran escala e instalaciones informáticas a gran escala para procesar conjuntos de datos espaciales geológicos a nivel de PB y TB.

La investigación científica moderna del sistema terrestre implica una gran cantidad de resolución de problemas multidisciplinarios e interdisciplinarios, por lo que se necesita una plataforma colaborativa multidisciplinaria para compartir recursos y estándares y especificaciones técnicas para el uso de la plataforma.

La investigación sobre la ciencia del sistema terrestre no debe ser un acto aislado, sino que debe realizarse en conjunto con el mundo. Esta plataforma de intercambio de recursos puede participar en la construcción de la e-Research y Geo Grid go.

Las instalaciones de supercomputación de mi país para la investigación básica sobre la ciencia del sistema terrestre son deficientes, especialmente en las universidades. Necesitamos aumentar la inversión e integrar nuestros recursos de investigación básica.

Establecer una plataforma de investigación básica con fines de supercomputación de ciencias de la tierra y procesamiento de datos geoespaciales.

Realizar un entorno multidisciplinario de intercambio de recursos y un entorno de computación grid de geociencias con el fin de realizar investigaciones básicas en ciencias de la tierra.

Llevar a cabo investigación y desarrollo de middleware sobre computación superparalela, procesamiento colaborativo distribuido, intercambio de recursos multidisciplinarios e investigación de aplicaciones básicas relacionadas.

Sentar las bases para participar en la computación grid de investigación científica nacional e incluso de clase mundial a mayor escala (e-Research Grid R&D).

Referencias

Wang Pinxian, Zhao Pengda, Chou Jifan, Li Deren, Yin Hongfu 2003. El futuro de la educación en ciencias de la tierra en China desde la perspectiva de la implementación de una estrategia de desarrollo sostenible. de Sugerencias de Expertos del Comité Técnico de Ciencias de la Educación, Número 11 (Número total 25)

Gong Jianhua, Lin Hui. 2001. Entorno geográfico virtual: perspectiva geográfica de la realidad virtual en línea Serie Frontera de la ciencia contemporánea Beijing: Educación superior. Prensa

Jiang Bin, Huang Bo, Lu Feng. 2002. Análisis espacial y visualización de geociencias en el entorno SIG. Serie Frontera de la ciencia contemporánea. Beijing: Higher Education Press

Wu Jianguo. Ecología del paisaje: patrón, proceso, escala y nivel. Serie de fronteras de la ciencia contemporánea. Beijing: Higher Education Press Pu Duanliang, Gong Peng 2000. Serie de fronteras de la ciencia contemporánea. Prensa de educación superior

Zhang Youxue, Yin An. 2002. La estructura, evolución y dinámica de la tierra. Serie Fronteras de la ciencia contemporánea. Beijing: Prensa de educación superior

Chen Changsheng. Dinámica y modelos de ecosistemas marinos. Serie de fronteras científicas contemporáneas. Beijing: Higher Education Press

L.Foster, C.Kesselman.2005. Grid Computing (versión en inglés: Machinery Industry Press). p>A. Grama, A. Gupta, G. Karypis y V. Kumar (traducido por Zhang Wu et al. 2005. Introducción a la computación paralela. Beijing: Machinery Industry Press

J.Duato, S.Yalamanchili y L.Ni (traducido por Zhang Minxuan et al.). 2004. Tecnología de Internet informática paralela: un método de ingeniería. Beijing: Electronic Industry Press

G Tel (Traducido por Huo Hongwei). 2004. Introducción a los algoritmos distribuidos. Beijing: Machinery Industry Press

W. Stallings (traducido por Qi Wangdong et al. 2003. Red de alta velocidad e Internet: rendimiento y calidad del servicio). Electronic Industry Press

R.Buyya (traducido por Zheng Weimin y otros 2001. Computación en clúster de alto rendimiento: estructura y sistema: Beijing: Electronic Industry Press

R.Buyya (). traducido por Zheng Weimin y otros). 2001. Computación en clúster de alto rendimiento - Programación y aplicación Beijing: Electronic Industry Press