Los macrodatos explotan y la tecnología de almacenamiento enfrenta dificultades
El crecimiento explosivo de la tecnología de almacenamiento de big data enfrenta dificultades
Con el crecimiento explosivo de las aplicaciones de big data, big data ha derivado su propia arquitectura única y también ha promovido directamente el almacenamiento. Desarrollo de tecnologías informáticas y de redes. Después de todo, abordar las necesidades especiales de big data es un nuevo desafío. El desarrollo del hardware está impulsado en última instancia por las necesidades del software. Big data en sí significa una gran cantidad de datos que deben procesarse utilizando tecnologías de almacenamiento estándar. Los macrodatos pueden consistir en terabytes (o incluso petabytes) de información, incluidos datos estructurados (bases de datos, registros, SQL, etc.) y datos no estructurados (publicaciones en redes sociales, sensores, datos multimedia). Además, muchos de estos datos carecen de índices u otras estructuras organizativas y pueden consistir en muchos tipos de archivos diferentes. A juzgar por la situación actual del desarrollo tecnológico, el desarrollo de la tecnología de almacenamiento de big data enfrenta las siguientes dificultades:
1. Problema de capacidad
La "gran capacidad" mencionada aquí generalmente puede ser. alcanzar una escala de datos de nivel PB. Por lo tanto, el sistema de almacenamiento masivo de datos también debe tener un nivel correspondiente de capacidades de expansión. Al mismo tiempo, los sistemas de almacenamiento deben ser fáciles de ampliar. La capacidad se puede aumentar agregando módulos o gabinetes de disco sin siquiera requerir tiempo de inactividad.
Además del enorme tamaño de los datos, las aplicaciones de "big data" también implican tener una gran cantidad de archivos. Por lo tanto, cómo administrar los metadatos acumulados en la capa del sistema de archivos es un problema difícil. Si no se maneja adecuadamente, afectará la escalabilidad y el rendimiento del sistema, y los sistemas NAS tradicionales tienen este cuello de botella. Afortunadamente, la arquitectura de almacenamiento basada en objetos no tiene este problema. Puede gestionar miles de millones de archivos en un sistema sin encontrar los problemas de gestión de metadatos como el almacenamiento tradicional. Los sistemas de almacenamiento basados en objetos también tienen capacidades de escalabilidad de área amplia y pueden implementarse en múltiples ubicaciones diferentes para formar una infraestructura de almacenamiento a gran escala en todas las regiones.
2. Problema de retraso
Las aplicaciones de “big data” también tienen problemas en tiempo real. Hay muchos entornos de aplicaciones de "grandes datos" que requieren un mayor rendimiento de IOPS, como la informática de alto rendimiento HPC. Además, la popularidad de la virtualización de servidores también ha generado la necesidad de IOPS elevados, del mismo modo que ha cambiado los entornos de TI tradicionales. Para hacer frente a estos desafíos, han surgido varios modelos de dispositivos de almacenamiento de estado sólido, que van desde simples cachés dentro de servidores hasta sistemas de almacenamiento escalables con medios totalmente de estado sólido, etc., que están en auge.
3. Acceso simultáneo
Una vez que las empresas se den cuenta del valor potencial de las aplicaciones de análisis de big data, incorporarán más conjuntos de datos al sistema para compararlos y permitirán que más personas compartan y utilicen. estos datos. Para crear más valor empresarial, las empresas suelen analizar de forma exhaustiva múltiples objetos de datos de diferentes plataformas. La infraestructura de almacenamiento, incluidos los sistemas de archivos globales, puede ayudar a los usuarios a resolver problemas de acceso a los datos. El sistema de archivos global permite que varios usuarios en múltiples hosts accedan a los datos de los archivos al mismo tiempo, y estos datos pueden almacenarse en múltiples ubicaciones en diferentes tipos de dispositivos de almacenamiento.
4. Problemas de seguridad
Las aplicaciones en ciertas industrias especiales, como datos financieros, información médica e inteligencia gubernamental, tienen sus propios estándares de seguridad y requisitos de confidencialidad. Aunque estos no son diferentes para los administradores de TI y deben seguirse, el análisis de big data a menudo requiere una referencia mutua de múltiples tipos de datos. En el pasado, no existía un acceso tan mixto a los datos. Por lo tanto, el análisis de big data también ha dado lugar a aplicaciones de datos. a algunas nuevas cuestiones de seguridad que deben tenerse en cuenta.
5. Cuestión de costes
El "gran" problema de costes también puede significar que es caro. Para aquellas empresas que utilizan entornos de big data, el control de costes es una cuestión clave. Si queremos controlar los costos, significa que debemos hacer que cada equipo sea más "eficiente" y al mismo tiempo reducir esos costosos componentes.
El factor que mayor impacto tiene en el control de costes son los equipos de hardware comerciales.
Por lo tanto, muchos usuarios que ingresan a este campo por primera vez, así como aquellos con las aplicaciones más grandes, personalizarán sus propias "plataformas de hardware" en lugar de utilizar productos comerciales disponibles. Esta medida se puede utilizar para equilibrar el control de costos durante. su estrategia de expansión empresarial. Para satisfacer esta demanda, cada vez se ofrecen más productos de almacenamiento en forma de software puro, que se puede instalar directamente en los dispositivos de hardware existentes, de uso general o disponibles en el mercado de los usuarios. Además, muchas empresas de software de almacenamiento todavía venden dispositivos de hardware y software integrados con productos de software como núcleo, o forman alianzas con fabricantes de hardware para lanzar productos cooperativos.
6. Acumulación de datos
Muchas aplicaciones de big data implican problemas de cumplimiento normativo. Estas regulaciones generalmente requieren que los datos se conserven durante varios años o décadas. Por ejemplo, la información médica suele conservarse para garantizar la seguridad de los pacientes, mientras que la información financiera suele conservarse durante 7 años. Algunos usuarios que utilizan el almacenamiento de big data esperan que los datos se puedan guardar durante un período de tiempo más largo, porque cualquier dato forma parte de registros históricos y el análisis de datos se basa principalmente en períodos de tiempo. Para lograr el almacenamiento de datos a largo plazo, los fabricantes de almacenamiento deben desarrollar funciones que puedan detectar continuamente la coherencia de los datos y otras características que garanticen una alta disponibilidad a largo plazo. Al mismo tiempo, también es necesario cumplir el requisito funcional de actualizar los datos directamente in situ.
7. Flexibilidad de datos
La infraestructura de los sistemas de almacenamiento de big data suele ser muy grande, por lo que debe diseñarse cuidadosamente para garantizar la flexibilidad del sistema de almacenamiento para que pueda escalar y amplíese junto con su software de análisis de aplicaciones. En un entorno de almacenamiento de big data, no es necesario realizar una migración de datos porque los datos se almacenarán en varios sitios de implementación al mismo tiempo. Una vez que se pone en uso una gran infraestructura de almacenamiento de datos, es difícil ajustarla, por lo que debe poder adaptarse a una variedad de diferentes tipos de aplicaciones y escenarios de datos.
Los medios de almacenamiento están cambiando y la computación en la nube se está volviendo cada vez más popular
El papel del almacenamiento en la seguridad ya no es solo un dispositivo, sino que se ha elevado a la categoría de plataforma de solución. . Como portador de datos de imágenes y registros de eventos de alarma, la importancia del almacenamiento es evidente.
¿Cuáles son los requisitos de almacenamiento para las aplicaciones de monitoreo de seguridad? En primer lugar, existe la necesidad de un almacenamiento masivo. En segundo lugar, los requisitos de desempeño. En tercer lugar, la sensibilidad al precio. Cuarto, los requisitos para la gestión centralizada. Quinto, requisitos de red. El desarrollo de la tecnología de monitoreo de seguridad ha pasado hoy por tres etapas, a saber: analogización, digitalización y creación de redes. En consecuencia, el almacenamiento de datos de vigilancia también ha pasado por múltiples etapas, a saber: almacenamiento de datos analógicos de VCR, almacenamiento de datos digitales de DVR, hasta el actual almacenamiento de red centralizado y el desarrollo de la etapa de almacenamiento en la nube, que se adapta a este mercado paso a paso. necesidad. En el futuro, la supervisión de la seguridad seguirá desarrollándose con alta definición, redes e inteligencia, lo que traerá desafíos constantes a las soluciones de almacenamiento existentes, incluidos problemas de capacidad, expansión del ancho de banda y problemas de gestión. Entonces, el almacenamiento en la nube, un sistema de almacenamiento masivo basado en una estrategia de big data, es muy popular.
El almacenamiento de seguridad basado en una estrategia de big data tiene ventajas obvias
La sociedad actual depende más que nunca de los datos y los datos se han convertido en un material importante que es tan importante como los activos físicos. y gente. Cómo almacenar, proteger y utilizar estos datos masivos es uno de los problemas importantes que enfrenta la industria de la seguridad. Entonces, ¿cuáles son las ventajas del almacenamiento de seguridad basado en una estrategia de big data?
En el mercado de almacenamiento actual, la capacidad y el ancho de banda de la solución de videovigilancia original son difíciles de ampliar. Los clientes a menudo necesitan comprar más equipos y de mayor calidad para ampliar la capacidad y mejorar el rendimiento, lo que trae consigo un fuerte aumento de los costos y un aumento en la complejidad del sistema. Al mismo tiempo, es difícil actualizar el modelo de almacenamiento tradicional sin interrumpir el negocio, y la expansión de la capacidad tendrá un enorme impacto en el negocio. En segundo lugar, las soluciones tradicionales de videovigilancia son difíciles de gestionar. Dado que los sistemas de videovigilancia son generalmente de gran escala, tienen características de distribución obvias y en su mayoría se administran de forma independiente, todo el sistema se divide en múltiples islas de administración, lo que dificulta la comunicación entre sí y la coordinación del trabajo para mejorar el rendimiento general. Además, la ecología y la seguridad también son cuestiones importantes a las que se enfrentan las soluciones de videovigilancia tradicionales.
Las características inherentes de alta escalabilidad, fácil administración y alta seguridad de la tecnología de almacenamiento en la nube basada en una estrategia de big data brindan oportunidades para resolver los problemas que enfrenta el almacenamiento tradicional. Al utilizar el almacenamiento en la nube, los usuarios pueden ampliar fácilmente la capacidad y el ancho de banda sin tener que detener el negocio ni cambiar la arquitectura del sistema. Al mismo tiempo, el almacenamiento en la nube también tiene las características de alta seguridad, bajo costo, ecología y ahorro de energía. Las soluciones de videovigilancia basadas en almacenamiento en la nube son una buena opción para que los clientes enfrenten sus desafíos. Wang Yu dijo que en el siglo XXI, el almacenamiento en la nube, como nueva arquitectura de almacenamiento, ha entrado gradualmente en la etapa de aplicación. El almacenamiento en la nube no solo supera fácilmente el cuello de botella de rendimiento de SAN, sino que también puede lograr una expansión lineal del rendimiento y la capacidad. es muy importante porque es una nueva opción para los usuarios de monitoreo de seguridad con grandes cantidades de datos.
Tomemos como ejemplo el sistema de archivos distribuido Hadoop (HDFS) lanzado por Intel, que proporciona una solución de almacenamiento masivo de datos de alto rendimiento y alta tolerancia a fallas. Se ha utilizado ampliamente en varios servicios en línea a gran escala y sistemas de almacenamiento a gran escala, y se ha convertido en el estándar de facto para el almacenamiento masivo de datos.
Con el rápido desarrollo de los sistemas de información, es necesario almacenar información masiva de forma fiable y acceder rápidamente a ella por un gran número de usuarios. Las soluciones de almacenamiento tradicionales se han vuelto cada vez más difíciles de adaptar al rápido desarrollo del negocio de sistemas de información en los últimos años en términos de arquitectura, y se han convertido en cuellos de botella y obstáculos para el desarrollo empresarial. HDFS utiliza un algoritmo distribuido eficiente para distribuir el acceso y el almacenamiento de datos entre una gran cantidad de servidores. Si bien almacena de manera confiable varias copias de seguridad, también puede distribuir el acceso a varios servidores en el clúster. Es una alternativa al desarrollo disruptivo. Lo más importante es que puede cumplir con las siguientes características: sistema de almacenamiento de archivos distribuido con recuperación automática, alta escalabilidad, expansión dinámica sin tiempo de inactividad, alta confiabilidad, detección y replicación automática de datos, acceso de alto rendimiento, eliminación de cuellos de botella en el acceso, construido con almacenamiento de bajo costo. y servidores.
Lo anterior es el contenido compartido por el editor sobre el crecimiento explosivo de big data y las dificultades que enfrenta la tecnología de almacenamiento. Para obtener más información, puede seguir a Global Ivy para compartir más información.