¿Cuáles son las características de una plataforma de big data?

1. Distribución eficiente

Debe ser un sistema distribuido eficiente. La cantidad de datos generados por Internet de las cosas es enorme. Solo en mi país, hay más de 500 millones de medidores inteligentes. Cada medidor recopila datos cada 15 minutos, y en todo el mundo se generan más de 50 mil millones de registros. el país. Ningún servidor es capaz de procesar una cantidad tan grande de datos, por lo que el sistema de procesamiento debe ser distribuido y escalable horizontalmente.

2. Procesamiento en tiempo real

Debe ser un sistema de procesamiento en tiempo real. Los escenarios más conocidos para el procesamiento de big data en Internet son retratos de usuarios, sistemas de recomendación, análisis de opinión pública, etc. Estos escenarios no requieren rendimiento en tiempo real y pueden procesarse en lotes. Sin embargo, para los escenarios de IoT, es necesario tomar decisiones y advertencias en tiempo real basadas en los datos recopilados, y el retraso debe controlarse en segundos.

3. Alta confiabilidad

Requiere servicios de alta confiabilidad de nivel de operador. El sistema de Internet de las cosas a menudo está conectado al sistema de producción y gestión. Si el sistema de procesamiento de datos falla, provocará directamente el cierre de la producción, lo que provocará pérdidas económicas y la imposibilidad de proporcionar servicios normales a los clientes finales. Por ejemplo, si hay un problema con el sistema de contador inteligente, provocará directamente que miles de hogares no puedan utilizar la electricidad con normalidad.

4. Almacenamiento en caché eficiente

Requiere una función de almacenamiento en caché eficiente. En la mayoría de los escenarios, es necesario obtener rápidamente el estado actual del dispositivo u otra información para alarmas, visualización en pantalla grande u otros fines. El sistema debe proporcionar un mecanismo eficiente para que los usuarios puedan obtener el estado más reciente de todos o algunos dispositivos que cumplen con las condiciones del filtro.

5. Computación de transmisión en tiempo real

Se requiere computación de transmisión en tiempo real. Varias advertencias o predicciones en tiempo real ya no se basan simplemente en un umbral determinado, sino que requieren la agregación y el cálculo en tiempo real de flujos de datos generados por uno o más dispositivos, no solo en función de un momento determinado, sino también de una ventana de tiempo. contabilidad. No solo eso, los requisitos de cálculo también son bastante complejos y varían según el escenario. Se deben permitir funciones definidas por el usuario para el cálculo.

6. Suscripción de datos

Requerida para admitir la suscripción de datos. A diferencia de las plataformas generales de big data, muchas aplicaciones suelen requerir el mismo conjunto de datos, por lo que el sistema debe proporcionar una función de suscripción y las aplicaciones deben recibir recordatorios en tiempo real siempre que haya nuevas actualizaciones de datos. Y esta suscripción también debe ser personalizada, permitiendo al usuario establecer condiciones de filtrado, como suscribirse únicamente a la media de cinco minutos de una determinada cantidad física.