Cómo manejar operaciones simultáneas en grandes cantidades de datos
Hay varias formas de manejar operaciones simultáneas en grandes cantidades de datos:
1. Usar almacenamiento en caché: usar programas para guardar directamente en la memoria. O utilice un marco de almacenamiento en caché: guárdelo con un tipo de valor específico para distinguir entre datos vacíos y estados sin caché.
2. Optimización de la base de datos: optimización de la estructura de la tabla; optimización de la sintaxis y optimización del índice de la tabla;
3. Separación de datos de actividad: se pueden dividir en usuarios activos y usuarios inactivos.
4. Lectura por lotes y modificación retrasada: se pueden fusionar varias solicitudes de consulta en una sola solicitud en condiciones de alta concurrencia. Se pueden almacenar en caché una alta concurrencia y modificaciones frecuentes.
5. Separación de lectura y escritura: configure múltiples servidores de bases de datos y configure bases de datos maestro-esclavo. Utilice la base de datos maestra para escribir y la base de datos esclava para leer.
6. Base de datos distribuida: diferentes tablas se almacenan en diferentes bases de datos y luego se colocan en diferentes servidores.
7. NoSql y Hadoop: NoSql, no solo SQL. No tiene tantas restricciones como las bases de datos relacionales y es más flexible y eficiente. Hadoop estratifica los datos de una tabla en varios bloques y los guarda en varios nodos (distribuidos). Cada dato se almacena en múltiples nodos (clústeres). Los clústeres pueden procesar los mismos datos en paralelo y garantizar la integridad de los datos.
:
Big data es una colección de datos que no se pueden capturar, gestionar y procesar dentro de un cierto período de tiempo utilizando herramientas de software tradicionales. Es un fenómeno masivo, de alto crecimiento y de alto crecimiento. activos de información diversos, se necesita un nuevo paradigma de procesamiento para obtener capacidades más sólidas de toma de decisiones, descubrimiento de conocimientos y optimización de procesos.
En "La era del Big Data", escrito por Victor Meier-Schoenberg y Kenneth Cukier, big data se refiere al uso de todos los datos para análisis y procesamiento, en lugar de utilizar atajos como el análisis aleatorio (muestreo). . Las características 5V del big data (propuestas por IBM): Volumen, Velocidad, Variedad, Valor y Veracidad.
Materiales de referencia: enlace al sitio web