Tres arquitecturas de almacenamiento en la era del big data
Tres arquitecturas de almacenamiento en la era del Big Data_Examen de analista de datos
En la era del Big Data, la rápida popularización de aplicaciones como Internet móvil, redes sociales, análisis de datos y servicios en la nube ha Un gran impacto en los centros de datos ha planteado requisitos revolucionarios y la infraestructura de almacenamiento se ha convertido en uno de los núcleos de TI. Están surgiendo aplicaciones emergentes en diversos campos como el gobierno, la industria militar, los institutos de investigación científica, el sector aeroespacial, las grandes cadenas comerciales, la atención médica, las finanzas, los nuevos medios, la radio y la televisión, etc. El valor de los datos se ha vuelto cada vez más prominente y los datos se han convertido en un activo indispensable. Como portador de datos y fuerza impulsora, los sistemas de almacenamiento se han convertido en el núcleo más crítico de la infraestructura de big data.
Los centros de datos tradicionales están lejos de satisfacer las necesidades de las aplicaciones emergentes en términos de rendimiento, eficiencia, retorno de la inversión y seguridad. El negocio de los centros de datos necesita urgentemente nuevos centros de procesamiento de big data que lo respalden. Además de la alta confiabilidad tradicional, la alta redundancia y el ahorro de energía verde, los nuevos centros de big data también deben tener una serie de características como virtualización, modularización, expansión elástica y automatización para satisfacer las necesidades de las aplicaciones con características de big data. Estas demandas sin precedentes han llevado a cambios sin precedentes en la arquitectura y las funciones de los sistemas de almacenamiento.
Basado en los requisitos de las aplicaciones de big data, se propuso el concepto de "almacenamiento definido por la aplicación". Como base de datos central del centro de datos, el sistema de almacenamiento ya no es solo un dispositivo subyacente único y disperso tradicional. Además de características como alto rendimiento, alta seguridad y alta confiabilidad, también debe tener características como virtualización, distribución paralela, organización por niveles automática, expansión elástica, integración de recursos heterogéneos y aceleración de caché global para satisfacer las necesidades de aplicaciones a gran escala. usuarios requisitos de aplicaciones comerciales para las características de los datos.
Especialmente en una era en la que se promociona el concepto de seguridad en la nube, con la popularización de la tecnología de alta definición, 720P y 1080P se pueden ver en todas partes. La demanda bidireccional de inteligencia y alta definición es. a menudo 500W, 800W o incluso decenas de millones de resoluciones más altas Con la llegada de las cámaras al mercado, big data ha planteado requisitos más altos en cuanto a capacidad de los dispositivos de almacenamiento, rendimiento de lectura y escritura, confiabilidad, escalabilidad, etc. considere la integración funcional, la seguridad de los datos, la estabilidad de los datos, la escalabilidad del sistema, el rendimiento y los factores de costo.
La arquitectura de almacenamiento actualmente en el mercado es la siguiente:
(1) Sistema de almacenamiento basado en arquitectura integrada
La arquitectura de nodo NVR está dirigida principalmente a pequeños Sistemas de monitoreo de alta definición, alta definición El número de interfaces generalmente es de docenas. No hay una sala de computadoras del centro de monitoreo de almacenamiento a gran escala en la construcción del sistema, la capacidad de almacenamiento es relativamente pequeña y se requiere que la experiencia del usuario y la integración de las funciones del sistema sean altas. A nivel de aplicación de mercado, se utilizan ampliamente unidades de gestión básicas en supermercados, tiendas, pequeñas empresas e industrias políticas y legales.
(2) Sistema de almacenamiento basado en el Generalmente, IPSAN o FCSAN se utilizan para construir sistemas de almacenamiento de video de alta definición. Como parte importante de la plataforma de monitoreo, los datos de monitoreo front-end se almacenan en la SAN a través del módulo de administración de almacenamiento de video.
La cantidad de canales frontales de alta definición conectados a esta arquitectura ha mejorado enormemente en comparación con el NVR de nodo. Tiene una escalabilidad rápida y conveniente y una tecnología madura. Para IPSAN, aunque la velocidad de transmisión de lectura y escritura simultánea de datos se consume en el enlace ISCSI, muchos clientes todavía la prefieren debido a su buena escalabilidad, plataforma de hardware universal y la capacidad de compartir datos masivos por completo. FCSAN se usa ampliamente en usuarios industriales y sistemas de almacenamiento cerrados, como proyectos de vigilancia de alta definición a nivel de condado o ciudad a nivel de prefectura. La lectura y escritura simultáneas de grandes cantidades de datos plantea un desafío mayor para la conmutación de redes gigabit, pero se utiliza FCSAN. Construir un subsistema de almacenamiento relativamente independiente puede resolver eficazmente los problemas anteriores.
Ante las características de archivos grandes y lectura y escritura aleatoria en los sistemas de videovigilancia, es necesario mejorar la redundancia del intercambio de datos entre diferentes unidades de almacenamiento del sistema de arquitectura SAN de la plataforma, reenviando datos de video desde servidores de alto rendimiento; La estrategia de espacio de almacenamiento también aumenta los puntos problemáticos ocultos de la arquitectura del sistema, los cuellos de botella del ancho de banda ISCSI conducen a la incapacidad de utilizar plenamente el rendimiento de concurrencia de datos del hardware y a un menor acceso a los datos de front-end. Los problemas anteriores han dado lugar a soluciones de arquitectura de plataforma NVR.
Esta solución elimina la necesidad de servidores de almacenamiento en la arquitectura del sistema, eliminando los cuellos de botella de rendimiento y los fallos de punto único mencionados anteriormente. Mejora en gran medida la velocidad de escritura y recuperación del sistema de almacenamiento, al mismo tiempo, también elimina por completo los problemas de daño al sistema de archivos causados por la inestabilidad del suministro de energía y la red en los sistemas de archivos tradicionales.
Los datos almacenados en la plataforma NVR pueden ser consultados y bajo demanda por múltiples clientes al mismo tiempo. Cuando los usuarios necesitan ver varios datos de videovigilancia guardados, pueden consultarlos y verlos directamente a través de un video autorizado. Clientes de vigilancia. Datos de videovigilancia bajo demanda en la ubicación correspondiente para ver imágenes históricas. Dado que el servidor de gestión de datos tiene un índice de los archivos de video de todos los puntos de monitoreo en el sistema de monitoreo, a través de la autorización de la plataforma CMS, el cliente de videovigilancia puede consultar y solicitar los datos de todos los puntos de monitoreo en todo el sistema de monitoreo. También es transparente para el usuario.
(3) Solución de almacenamiento basada en tecnología de nube
Actualmente, se puede decir que la industria de la seguridad está cubierta por "nube" y "cosas". Con el desarrollo de la videovigilancia en red y de alta definición, la cantidad de datos de vídeo almacenados y administrados se ha vuelto enorme. La tecnología de almacenamiento en la nube es un medio importante para superar el cuello de botella de almacenamiento de la vigilancia IP de alta definición. Como servicio, el almacenamiento en la nube tiene perspectivas objetivas de aplicación en la futura industria de monitoreo de seguridad.
A diferencia de los dispositivos de almacenamiento tradicionales, el almacenamiento en la nube no es solo una pieza de hardware, sino un dispositivo de red, un dispositivo de almacenamiento, un servidor, un software, una red de acceso, una interfaz de acceso de usuario y un sistema cliente complejo. El sistema toma los dispositivos de almacenamiento como núcleo y proporciona almacenamiento de datos externo y servicios comerciales a través de software de capa de aplicación.
Generalmente se divide en capa de almacenamiento, capa de gestión básica, capa de interfaz de aplicación y capa de acceso. La capa de almacenamiento es la base del sistema de almacenamiento en la nube y consta de dispositivos de almacenamiento (que cumplen con el protocolo FC, el protocolo iSCSI, el protocolo NAS, etc.). La capa de gestión básica es el núcleo del sistema de almacenamiento en la nube, que es responsable de la colaboración entre los dispositivos de almacenamiento, el cifrado de datos, la distribución y la recuperación y copia de seguridad ante desastres. La capa de interfaz de aplicación es la parte del sistema desarrollada de acuerdo con las necesidades del usuario. Se pueden desarrollar diferentes interfaces de servicios de aplicación según los diferentes tipos de negocios. La capa de acceso se refiere a usuarios autorizados para iniciar sesión y disfrutar de los servicios en la nube a través de interfaces de aplicaciones. Sus principales ventajas son: redundancia de hardware, ahorro de energía y protección ambiental, las actualizaciones del sistema no afectarán los servicios de almacenamiento, expansión paralela masiva, poderosa función de equilibrio de carga, administración unificada, provisión de servicios externos unificada, alta eficiencia de administración y el sistema de almacenamiento en la nube comienza desde La arquitectura del sistema, a partir de aspectos como la estructura de archivos y el caché, el diseño está optimizado para monitorear aplicaciones. La transmisión de datos se puede realizar mediante transmisión por secuencias y la capa subyacente adopta una estructura de datos de medios de transmisión por secuencias que supera las limitaciones de los sistemas de archivos tradicionales y mejora en gran medida el rendimiento del sistema.
El almacenamiento de vigilancia HD es una aplicación de almacenamiento que se centra en grandes flujos de código y múltiples escrituras simultáneas, y tiene requisitos muy altos de rendimiento, simultaneidad y estabilidad. Esta solución de almacenamiento utiliza un algoritmo secuencial único de caché grande para convertir múltiples accesos simultáneos aleatorios en accesos secuenciales, resolviendo el problema de la rápida degradación del rendimiento y la reducción de la vida útil del disco duro causado por la búsqueda frecuente de cabezales de disco duro.
Dado que el sistema generará datos de monitoreo masivos a nivel de PB y la cantidad de dispositivos de almacenamiento alcanzará docenas y cientos de unidades, es muy importante contar con métodos de gestión científicos y eficientes. El almacenamiento en la nube puede proporcionar herramientas de administración centralizada de múltiples dispositivos basadas en tecnología de administración de clústeres, con funciones como monitoreo centralizado de equipos, administración de clústeres, monitoreo del estado operativo del software y hardware del sistema, alarmas activas y detección gráfica del sistema. En aplicaciones de recuperación y almacenamiento de vídeo masivo, el rendimiento de la recuperación es particularmente importante. En el sistema de archivos tradicional, la recuperación de archivos utiliza el paso de recuperación "directorio-"subdirectorio-"archivo-"ubicación". En la videovigilancia de alta definición con datos masivos, la cantidad de directorios y archivos es muy considerable y la eficiencia de Este modo de recuperación tendrá un gran descuento. El uso del posicionamiento del archivo de número de serie puede resolver eficazmente este problema.
El almacenamiento en la nube puede proporcionar una redundancia y seguridad del sistema muy altas. Cuando el sistema de almacenamiento en línea falla, la máquina de espera activa puede hacerse cargo del servicio inmediatamente. Cuando se restaura la falla, los servicios y los datos se migran nuevamente, si es necesario recuperar los datos de la máquina fallida, el disco de la máquina fallida. Se puede insertar en la máquina de espera en frío para realizar la recuperación de todos los datos. Disponible de inmediato.
Para los sistemas de vigilancia de alta definición, con el aumento de las interfaces de vigilancia y la extensión del tiempo de almacenamiento, las capacidades de expansión son muy importantes.
Ya existen amigos en el mercado que pueden proporcionar el modo de expansión del gabinete de expansión exclusivamente para capacidad y el modo de expansión de pila para la expansión lineal simultánea del rendimiento y la capacidad.
Además de las ventajas anteriores, los sistemas de almacenamiento en la nube también enfrentarán desafíos en términos de acoplamiento e integración de plataformas, clasificación de procesos comerciales, extracción en profundidad de datos de video, análisis inteligente y costos. El modelo de negocio para construir sistemas a gran escala y almacenamiento en la nube también necesita innovación. Limitado por el desarrollo de redes de banda ancha, tecnología web2.0, tecnología de almacenamiento de aplicaciones, sistemas de archivos, P2P, compresión de datos, tecnología CDN, tecnología de virtualización, etc., el almacenamiento en la nube todavía tiene un largo camino por recorrer en el futuro.
Lo anterior es el contenido relevante compartido por el editor sobre las tres arquitecturas de almacenamiento en la era del big data. Para obtener más información, puede seguir a Global Ivy para compartir más información.