¿Cómo diseñar un sistema de procesamiento de datos en tiempo real que pueda funcionar 10 millones de veces por segundo?
Hola, cartel, este gran sistema tiene requisitos muy estrictos en cuanto a equipos de hardware y tecnología de software. Los 618 y Double 11 de cada año son muy estresantes para los expertos técnicos de JD.com y Alibaba. Este tipo de actividad puede manejar decenas de millones de pedidos por segundo. Este gran sistema se completa con la cooperación de varios subsistemas.
No hace falta decir nada sobre los equipos de hardware, simplemente compre lo mejor. La atención se centra en la parte del software. para un sistema tan grande. Se utilizaron muchas técnicas. También es una tecnología utilizada en la industria, como el procesamiento de datos en tiempo real de big data, la computación en tiempo real de big data, la recuperación de consultas casi en tiempo real, etc.
Las tecnologías utilizadas en el procesamiento de datos en tiempo real de big data incluyen principalmente Flume + Kafka + SparkStreaming, Flume + Kafka + Storm, Flink, etc. Los detalles técnicos de cada tecnología no se describirán en detalle. Todos son marcos de código abierto que se utilizan para procesar cantidades masivas de datos. Para JD.com o Alibaba, es probable que optimicen el código fuente y desarrollen un marco que se adapte a las necesidades del escenario de su empresa. Pero las diferencias tecnológicas centrales no son grandes.
La tecnología informática en tiempo real de big data se completa básicamente utilizando uno o más de Kafka, SparkStreaming, SparkSQL, SparkGrapnX, etc.
La consulta y recuperación de big data en tiempo casi real utiliza muchas tecnologías. Aquí hay dos tipos: una es la consulta interactiva para crear un índice secundario (Hbase + Solr) y la otra es el texto completo de ElasticSearch. marco de búsqueda.
Las tecnologías utilizadas en sistemas grandes son similares. La clave depende de cómo el arquitecto diseña y estructura los escenarios comerciales. Si el diseño no es bueno, aparecerá el primer sistema de emisión de boletos 12306. Los centros comerciales bien diseñados, como los actuales JD.com y Tmall Malls, pueden manejar una cantidad tan grande de datos y seguir funcionando con normalidad.
La tecnología se está desarrollando rápidamente y en el futuro aparecerán en todos los ámbitos de la vida plataformas de procesamiento capaces de decenas de millones de segundos. Debemos recargarnos constantemente y seguir aprendiendo. ¡Trabajemos juntos!
¡Gracias a todos! Si tienes alguna duda, puedes enviarme un mensaje privado.