Cómo utilizar la computación en la nube para realizar una ecografía en la Tierra en sólo 48 horas
En la Conferencia de Computación de este año en Hangzhou, el Dr. Wang Weitao, científico geofísico de la Oficina Sismológica del Pabellón de China, pronunció un discurso de apertura en la sesión práctica de Tech Insight sobre tecnología de almacenamiento de datos: "Computación en la nube en Aplicación "Sismology Research": creación de terremotos virtuales utilizando bcs y datos masivos. Presentó que la tarea de cálculo de cinco años de datos entre miles de estaciones sísmicas en toda China, cuyo cálculo originalmente tomó un año, se completó en 48 horas en la computación en la nube.
¿Cómo se logra esto?
Nuestros antepasados contemplaban las estrellas brillantes, pero les llevó decenas de miles de años descubrir las leyes del movimiento celeste.
Nuestros predecesores se sentaron y observaron cómo subían y bajaban las mareas, pero se necesitaron miles de generaciones para navegar hasta el otro lado del océano.
Y nosotros mismos, que nos hemos multiplicado en esta tierra hasta el día de hoy, todavía ignoramos la tierra que tenemos bajo nuestros pies.
Desde los registros de observación hasta las predicciones periódicas, es casi toda la lógica de la historia de la ciencia humana.
Pero cada vez que hacemos todo lo posible para registrar los datos, es sólo un goteo que aumenta el vasto océano de conocimiento.
Cuando cogemos el bolígrafo y nos ponemos a realizar complicados cálculos, esperamos con ansias el momento en que Arquímedes salte de la bañera y Newton levante la manzana.
El Dr. Wang Weitao es el autor de este cálculo. Pertenece a la Administración de Terremotos de China. Lo que quiere saber es cada detalle de la tierra bajo nuestros pies.
Una amplia gama de cálculos
Cada terremoto que experimentamos nos recuerda la urgencia de predecir y advertir sobre tales desastres. Sin embargo, todavía estamos lejos de este objetivo.
Para comprender mejor el fenómeno físico de los terremotos, se necesitan imágenes extremadamente detalladas de la estructura de la corteza terrestre, y para dibujar este mapa subterráneo, se requieren cálculos de datos detallados. El pozo más profundo que el hombre ha perforado hasta ahora es el pozo ultraprofundo de Kola, perforado en la antigua Unión Soviética, y tiene aproximadamente 12,2 kilómetros de profundidad. Sin embargo, la profundidad focal de los terremotos suele ser de más de diez a decenas de kilómetros bajo tierra. La tecnología actual no puede realizar observaciones directas a la profundidad focal.
Por lo tanto, necesitamos confiar en miles de estaciones sísmicas distribuidas por todo el país para detectar ondas sísmicas. Las características de propagación de las ondas sísmicas bajo tierra se ven afectadas por la estructura geológica. Este es también el principio por el que las ondas sísmicas pueden ser. Se utiliza para dibujar imágenes subterráneas. Estas estaciones sismológicas pueden detectar las "grandes ondas de choque" de los terremotos, pero también pueden captar el "ruido terrestre" cotidiano, como las vibraciones de las mareas oceánicas que golpean el continente.
El principio de obtención de imágenes subterráneas basado en ondas sísmicas
Wang Weitao dijo a los periodistas que casi todos los científicos geofísicos como él son medio programadores. Porque desde ondas sísmicas hasta imágenes subterráneas, se requieren cálculos de programas a gran escala más allá de la imaginación de la gente común. Su modelo de cálculo es el siguiente: cada vibración se transmitirá a varias estaciones sísmicas en secuencia de cerca a lejos, por lo que, en teoría, cada estación sísmica hará su propio registro de la misma vibración. Estos datos son diferentes y diferentes.
A partir de estos datos se pueden calcular algunos "terremotos virtuales". Al realizar cálculos de comparación de correlación cruzada de datos entre cada dos estaciones sísmicas, se pueden obtener datos valiosos necesarios para estudiar la estructura general del subsuelo de China.
Los terremotos virtuales pueden simular los mismos datos que los terremotos reales, por lo que pueden usarse para obtener imágenes subterráneas en áreas donde no han ocurrido terremotos. Cada dato de onda sísmica tiene E, N, Z (este-oeste, norte). -sur, vertical) Para los componentes tridimensionales, hay 6.000 componentes en más de 2.000 estaciones sísmicas permanentes y temporales en todo el país. El volumen de datos anual es de aproximadamente 30 TB y nuestro volumen total de datos ha alcanzado el nivel PB.
Dado que necesitamos comparar los datos de cada componente de cada estación sísmica en cada momento entre sí, la cantidad de cálculos aumenta exponencialmente. La sabiduría y la experiencia de Wang Weitao se reflejan precisamente en los programas y algoritmos que diseñó. Pero el Dr. Wang Weitao, que dedicó mucho esfuerzo a completar este algoritmo, descubrió que acababa de embarcarse en el primer paso de una larga marcha de miles de millas y que todavía tenía una gran dificultad por delante.
Las líneas de conexión (gris) entre cada dos estaciones sísmicas en la figura son datos que deben calcularse, y la cantidad total de cálculo es extremadamente grande.
Si se utiliza una sola máquina para calcular estos datos, se necesitarán unos siete años. Basándome en los veinte años de carrera de una persona, sólo puedo completar tres cálculos antes de jubilarme. En este caso, la computación en la nube distribuida a gran escala parece ser la única opción.
Sin embargo, el mecanismo de la computación en la nube no es tan ligero como parece. El periodista también entrevistó a los zapatos para niños de Alibaba Cloud, socio de la Administración de Terremotos de China. En su opinión, la computación en la nube, al igual que la investigación científica, reúne la mejor sabiduría de la humanidad.
Espacio de almacenamiento requerido, cantidad de cálculo y tiempo estimado necesario para el cálculo en una sola máquina
Almacenamiento distribuido: un juego sobre la granja
El almacenamiento en la nube es como un gran En una granja, cada servidor es como un trabajador y tus datos son las ovejas. Dijo Cheng Zong, experto senior en almacenamiento en la nube de Alibaba. Parece que es un maestro de la ganadería. El "almacenamiento distribuido" puede considerarse como la condición básica para la informática distribuida. En otras palabras, sus ovejas primero deben ser puestas en la "granja" de Alibaba Cloud, y luego sus trabajadores le ayudarán a cuidar, alimentar, esquilar e hilar.
Para los datos del Dr. Wang Weitao, simplemente almacenarlos en la nube requiere innumerables "tecnologías negras".
En los cálculos a realizar, el sistema informático realizará accesos a gran escala al sistema de almacenamiento. Estas visitas deben distribuirse uniformemente al servidor y no debe haber puntos calientes. Y esto no es suficiente, dado que las fallas del hardware del servidor se convertirán en un evento normal en clústeres de gran escala, se debe proporcionar programación de recursos en tiempo real y tolerancia a fallas.
Por ejemplo, asegúrese de que cuando se extrae un disco duro, los discos duros restantes deben utilizar rápidamente los datos de copia de seguridad para ponerse al día con el almacenamiento.
Chengzong dio los dos ejemplos anteriores. Estos dos ejemplos pueden transformarse en una metáfora agrícola, que se expresa aproximadamente de la siguiente manera: la granja debe distribuir equitativamente la carga de trabajo de los trabajadores y nunca debe existir una situación de "esquilar la lana de una oveja". Además, los trabajadores de la finca enferman y toman vacaciones todos los días, y su trabajo debe distribuirse razonablemente entre muchas personas en el menor tiempo posible, para que otros trabajadores no se sobrecarguen.
Todo el sistema de archivos distribuido de Alibaba Cloud se llama Pangu. En la mente de Chengzong, Pangu todavía tenía muchas "tecnologías negras" inteligentes.
Dio un ejemplo: todos los humanos vemos los mismos discos, pero Pangu vio discos diferentes. Califica el estado de cada disco en función de la acumulación de datos de acceso históricos, como la velocidad de escritura y la eficiencia.
Para discos con mala salud, reduzca parte de la asignación de trabajo en consecuencia. Estas tecnologías subyacentes pueden preparar al Dr. Wang Weitao para su próximo cálculo real.
Chengzong dijo que en la informática distribuida, el ancho de banda de datos se ha convertido en un parámetro importante. Desde la perspectiva del Dr. Wang Weitao, es imposible almacenar datos en su propio servidor y utilizar únicamente la potencia informática de Alibaba Cloud para generar resultados. El principio es muy simple: todos los servidores de la informática distribuida envían solicitudes de lectura de datos a una unidad de almacenamiento. El ancho de banda se bloqueará instantáneamente y no importa cuán potente sea la potencia informática, no podrá utilizarlo.
En cuanto a datos específicos, el ancho de banda de la fibra óptica de 100M es generalmente de 100Mb/s, mientras que el ancho de banda de los discos duros puede ser de hasta varios Gb/s, y el ancho de banda de acceso a la intranet del almacenamiento en la nube de Alibaba (dentro del sistema de computación en la nube) puede alcanzar un nivel de Tb/s.
Cálculo por lotes: construcción de una pirámide
A continuación, los datos del Dr. Wang Weitao entrarán en la etapa de cálculo final. Estoy familiarizado con el sistema Linux al que estoy acostumbrado. Todos los códigos informáticos se completan en este entorno. Cómo hacer que mi código funcione en un entorno de computación en la nube es un tema muy importante.
Proceso de cálculo de datos de imágenes subterráneas
En términos de investigación científica sobre terremotos, Alibaba Cloud obviamente no puede hacer sugerencias de algoritmos, por lo que lo que deben hacer es proporcionar una interfaz común para Wang Weitao. Puede utilizar la computadora, la interfaz y el sistema Linux en su propia sala de computadoras para controlar la computación en la nube.
Las capacidades de compatibilidad y adaptabilidad proporcionadas por Alibaba Cloud son algo de lo que el experto en informática de Alibaba, Lin Heshan, está muy orgulloso.
El Dr. Wang nunca antes había utilizado clústeres distribuidos o "supercomputación", por lo que saltar directamente a la nube será un desafío para él desde un nivel operativo y de control.
La interfaz informática que proporcionamos permite ejecutar programas independientes de manera eficiente en un entorno de nube sin modificaciones. Los usuarios pueden movilizar recursos informáticos a gran escala en la nube para su análisis con unos pocos comandos simples, sin tener que aprender conocimientos complejos de informática distribuida. De hecho, muchas personas que hacen la transición a la computación en la nube desde otros lugares tendrán este tipo de problemas, por lo que no solo el Dr. Wang, sino que muchos otros usuarios también utilizarán nuestra interfaz informática universal. dijo. En este momento, los obstáculos a la informática a gran escala básicamente se han eliminado.
Sin embargo, Lin Heshan dijo a los periodistas que la verdadera tecnología central de la computación en la nube radica en la programación de la potencia informática de la computación por lotes.
Procesos y modelos de aceleración para la informática a gran escala. A medida que la escala de la informática se expande, se accederá a los recursos de almacenamiento con mucha frecuencia. En este momento, se debe tener mucho cuidado al controlar la cantidad de concurrencia. acceso.
La aplicación del Dr. Wang tiene muchas solicitudes de E/S pequeñas. Si cada solicitud de E/S accede directamente al almacenamiento en la nube, el retraso resultante afectará la eficiencia informática. Para optimizar aún más el rendimiento informático, la computación por lotes adopta una estrategia de "caché distribuida" para almacenar en caché los datos que pueden usarse de antemano en los nodos informáticos. De esta forma, la potencia informática no está limitada por el tamaño del clúster. Dijo Lin Heshan.
Incluso si este es el caso, no es suficiente cuánta "granularidad" se debe adoptar para el acceso a los datos es un momento importante para probar la inteligencia del sistema. Si lee demasiado a la vez, puede provocar una congestión del ancho de banda. Si lee muy poco a la vez, puede provocar un acceso frecuente. Es una tarea difícil hacer predicciones razonables y leer automáticamente diferentes tipos de datos.
Por ejemplo: Esto es como construir una pirámide, en la que decenas de miles de "esclavos" tienen que trabajar juntos. Los ingenieros tienen que decidir si sacrificar la velocidad y transportar varias rocas al sitio a la vez, o sacrificar la cantidad y transportar rápidamente una piedra al sitio a la vez.
De manera similar, frente al vasto proyecto piramidal, ¿cuántos esclavos se asignan para remover el mortero, cuántos esclavos se asignan para transportar las piedras y cuántos esclavos se asignan para construir cada bloque en cada momento Incluso si esto es Las tareas que los ingenieros deben considerar cuidadosamente para completar son completadas automáticamente por el sistema, y la dificultad es imaginable.
Por supuesto, en un proceso de cálculo tan complicado, a menudo se producen errores.
Lin Heshan dio un ejemplo: el mecanismo de tolerancia a fallas de Alibaba Cloud entró en juego al representar la animación de persecución de luz "Little Door God". (En su punto máximo, 2000 servidores participaron en cálculos por lotes a gran escala). En general, el trabajo de renderizado de video es un proceso largo y continuo. Si hay un problema con incluso un nodo en la representación de un determinado cuadro, provocará retrasos en el acceso a gran escala, provocará congestión lógica y creará "puntos calientes".
Lin Heshan dijo: "El enfoque de Alibaba Cloud es volver a ejecutar el proceso en el menor tiempo posible después de un error de cálculo. Si se confirma que hay un problema con el nodo durante la ejecución, se solucionará automáticamente programados para otra ubicación, estos son invisibles para el usuario, pero detrás de escena, tenemos que hacer muchos esfuerzos
Mapear el mundo subterráneo
Todo el proceso originalmente tomó uno. año para calcular. La tarea de cálculo de cinco años de datos entre miles de estaciones sísmicas en China se llevó a cabo en computación en la nube y el cálculo se completó en 48 horas.
La imagen del interior de la Tierra es solo. como el ultrasonido B del cuerpo humano<. /p>
Esto era inimaginable antes del advenimiento de la era de la computación en la nube. Desde una perspectiva de investigación científica, estos datos son productos de los datos originales de observación de terremotos, y también lo son. Datos importantes en los que se basa la investigación científica posterior. Proporcionan un buen apoyo para la próxima investigación de Wang Weitao. Desde fuera, el proceso de cálculo parece muy sencillo, pero todas las dificultades que acabamos de experimentar solo ocurrieron en el mundo del código detrás de él.
Tomando prestadas las palabras del director de productos de Alibaba Cloud, Li Jin: Cuando se publicaron los resultados del cálculo, todo nuestro personal técnico guardó silencio.
Cuánto anhelamos que esos datos se calculen décadas antes, para poder ganar un tiempo precioso para que la humanidad comprenda el desastre natural de los terremotos.
Dejando de lado las nubes empresariales, podemos ver la verdadera ventaja de la computación en la nube.
La investigación de Wang Weitao no se ha detenido y dijo: Hasta ahora, solo he realizado análisis de datos en una dimensión de 2011 a 2015. En el futuro, continuaré analizando datos en más dimensiones y frecuencias. datos para el cálculo. La precisión de la investigación científica siempre se puede mejorar. Datos subterráneos cada vez más precisos brindarán un fuerte apoyo a la exploración minera, la prevención de terremotos y la reducción de desastres, y la investigación científica sobre terremotos.
Lo interesante de la ciencia radica en intentarlo constantemente. Es posible que cuando te despiertes y pienses en un nuevo método, tengas que reescribir las fórmulas y códigos y verificarlos mediante cálculos.
Quizás algún día, la manzana de Wang Weitao caiga silenciosamente. En ese momento, fue la victoria de Wang Weitao y también fue una victoria para el poder informático humano. Hacemos todo lo posible para mejorar la potencia informática y reunir el goteo de datos en una fuerza poderosa, simplemente porque no queremos ignorar el suelo bajo nuestros pies.