Ideas de diseño detalladas para sistemas inteligentes de videovigilancia
Con la mejora de la infraestructura de redes inalámbricas y por cable de banda ancha y el crecimiento de la demanda del mercado de seguridad global, la aplicación de videovigilancia está experimentando un crecimiento explosivo. La tendencia de desarrollo de los sistemas de videovigilancia es muy obvia. Después de experimentar la digitalización y la creación de redes, la siguiente tendencia importante es la inteligencia, es decir, la aplicación de tecnología de vigilancia inteligente y análisis de video.
La videovigilancia tradicional se realiza manualmente para detectar riesgos de seguridad o condiciones anormales, o para el análisis posterior al evento. Esta aplicación tiene sus deficiencias inherentes y dificulta la gestión de detección y monitoreo de seguridad en tiempo real. Los sistemas de monitoreo con funciones de análisis inteligente pueden recopilar y analizar datos activamente distinguiendo la apariencia, los movimientos y otras características de los objetos monitoreados, y realizar alarmas, registros, análisis y otras acciones de acuerdo con condiciones preestablecidas. Los sistemas de monitoreo inteligentes pueden ejecutarse en servidores o en sistemas integrados basados en DSP, y estos últimos se han ido generalizando gradualmente.
La aplicación del vídeo inteligente generalmente se puede dividir en tres aspectos: seguridad, detección del comportamiento humano y transporte inteligente. Entre ellas, se considera que las aplicaciones de seguridad son el mercado con mayor potencial. Incluye las siguientes categorías de aplicaciones: detección de intrusiones, que puede detectar automáticamente características de movimiento en imágenes de video, detección de eliminación de objetos, que puede detectar automáticamente eventos en movimiento de objetos; Se emite una alarma cuando se retiran o se mueven elementos en una ubicación específica de la zona de defensa; la detección de objetos heredados puede detectar automáticamente objetos abandonados: se emite una alarma automática cuando se colocan o se abandonan elementos en una determinada zona de defensa; permite que la cámara controle PTZ de forma independiente para su propia lente de giro/inclinación y zoom. Las aplicaciones de detección de comportamiento humano incluyen detección fuera de servicio (que puede detectar automáticamente la presencia de personal centinela) y detección de merodeo (que detecta merodeo humano en áreas importantes). Las aplicaciones de transporte inteligente incluyen: detección de vehículos que permanecen ilegalmente y envío de una alarma cuando los vehículos permanecen ilegalmente en la zona de defensa, detección de vehículos retrógrados e identificación oportuna de vehículos retrógrados;
Con la mejora gradual de la precisión y la confiabilidad y la disminución de los costos de los productos, el video inteligente se ha aplicado cada vez en más ocasiones. Puede reemplazar algunos equipos de seguridad, reducir la intensidad del trabajo del personal de seguridad y mejorar. Mejore la eficiencia del trabajo y reduzca los costos de gestión. De hecho, la aplicación del vídeo inteligente tiene un enorme potencial. A medida que la tecnología se vuelve cada vez más madura, los campos de aplicación de la tecnología de video inteligente se están expandiendo rápidamente. Estas aplicaciones incluyen principalmente las industrias de seguridad, transporte, comercio minorista, servicios y otras mencionadas anteriormente, como el conteo de personas, el reconocimiento facial, el control de multitudes, el control de la atención y. esperar el control del flujo de tráfico.
La demanda de monitoreo de video en tiempo real está creciendo rápidamente, especialmente a medida que aumenta la demanda de aplicaciones de monitoreo de seguridad en tiempo real. La función de descubrir peligros de seguridad o comportamientos anormales de los objetivos en tiempo real se ha vuelto cada vez más importante. Vídeo inteligente Impulsados por esta creciente demanda, los productos de sistemas de monitorización se están convirtiendo en un nuevo punto caliente en las aplicaciones de videovigilancia. Especialmente con el avance de la tecnología de semiconductores, como la introducción de plataformas de soluciones integradas avanzadas representadas por los procesadores convergentes Blackfin, los equipos de análisis de video inteligentes con un costo extremadamente alto y una gran practicidad se han introducido y utilizado continuamente en algunas aplicaciones clave. role.
Figura 1: Diagrama esquemático de una aplicación de videovigilancia tradicional.
Estrategia de diseño de aplicaciones de vídeo inteligente
La elección de la solución de plataforma de hardware a menudo determina el coste general de la solución, el rendimiento, la disponibilidad de las herramientas y métodos de desarrollo del sistema, así como la viabilidad de actualización continua de la solución en el futuro, etc. Por lo tanto, la selección de la plataforma de la solución es crucial. La singularidad de las aplicaciones de vídeo inteligentes requiere una compensación integral en la elección de la plataforma de hardware. Los requisitos de red y análisis inteligente del sistema de videovigilancia, así como las restricciones de costo, volumen y consumo de energía de instalaciones de ingeniería a gran escala, métodos de análisis de video inteligente no estandarizados y métodos de optimización de soluciones casi personalizados combinan las ventajas de MCU y DSP, la plataforma de solución de procesador convergente con flexibilidad de diseño de software y potentes capacidades de procesamiento, muestra ventajas más obvias. Este artículo combinará las características del exclusivo procesador DSP convergente Blackfin de ADI para analizar los principales puntos técnicos de diseño en el diseño de video inteligente.
1. Selección de plataforma de hardware
La personalización es muy importante. Hay muchos factores que restringen el ritmo de aplicación inteligente de los sistemas de videovigilancia: En primer lugar, los algoritmos de vídeo de la vigilancia inteligente son relativamente complejos y difíciles de estandarizar. El software de análisis de vídeo de cada proveedor de sistemas tiene su propio algoritmo único, lo que da como resultado que no haya unificado. productos en el mercado; en segundo lugar, los escenarios de aplicación de los sistemas de videovigilancia son relativamente complejos y los usuarios tienen diversos requisitos, por lo que existen muchos requisitos de personalización. Por lo tanto, las soluciones de análisis de vídeo generalmente deben optimizarse de acuerdo con las características y necesidades de la aplicación del cliente, y los algoritmos utilizados varían ampliamente. Además, debido a la alta complejidad de las aplicaciones de vídeo inteligentes, se imponen mayores requisitos a las capacidades de procesamiento de la solución. Las soluciones de videovigilancia tradicionales basadas en MCU ASIC son difíciles de implementar, varios diseños personalizados y altos requisitos de potencia informática. Incluso si elige una solución de doble chip utilizando una MCU DSP normal, suele ser difícil cumplir con los complejos requisitos informáticos de la videovigilancia inteligente. aplicaciones que requieren la adición de un coprocesador. Esta solución compleja no vale la pena en términos de costo de BOM, consumo de energía o dificultad de desarrollo. El procesador Blackfin aprovecha al máximo la arquitectura convergente MCU DSP para cumplir con los requisitos de control del sistema y computación de alta intensidad de las aplicaciones de video inteligentes. En particular, la arquitectura de doble núcleo de alto rendimiento representada por BF561 se ha convertido en la plataforma de solución preferida para aplicaciones inteligentes. aplicaciones de vídeo.
La escalabilidad de la solución también es un factor a considerar. Además de optimizar la solución para el entorno de la aplicación y el propósito de la aplicación, las aplicaciones de análisis de video inteligente pueden tener necesidades diferentes a otros aspectos. Por ejemplo, algunas soluciones líderes de videovigilancia digital actualmente admiten transmisiones de código dual H.264 de clase básica @Level3.0 y MPEG4 D1 CIF, y pueden ampliarse para admitir transmisiones de código dual H.264 D1 CIF en el futuro. Con la aplicación más amplia del análisis de vídeo inteligente, como cámaras IP, videovigilancia inalámbrica, sistemas de transporte inteligentes, etc., diferentes aplicaciones pueden tener requisitos muy diferenciados para diversas funciones de interfaz, estándares de comunicación, interfaces de usuario, etc. Plataformas de hardware La escalabilidad flexible de la solución a diversas necesidades es muy importante. Al mismo tiempo, como se mencionó anteriormente, el desarrollo de la tecnología de análisis de video inteligente solo lleva unos pocos años. A medida que la tecnología continúa madurando y se introducen y mejoran algunos estándares relacionados, la capacidad de actualización del producto es crucial y es un tema que los desarrolladores deben abordar. También es una característica importante que interesa a los clientes finales. Blackfin DSP tiene ventajas únicas en el procesamiento paralelo de algoritmos. En particular, ADSP-BF561 utiliza núcleos DSP duales, que pueden implementar algoritmos de procesamiento de video inteligentes muy complejos.
Funciones de optimización de aplicaciones de vídeo. Aunque algunas soluciones tienen un gran poder de procesamiento y escalabilidad, también es digno de atención si la solución está optimizada y diseñada principalmente para aplicaciones de video, porque esto está directamente relacionado con los recursos de diseño de software y hardware disponibles para el ingeniero de diseño, así como con la Dificultad del diseño del sistema y rendimiento alcanzable. Tomemos como ejemplo el procesador Blackfin, que está especialmente optimizado para el procesamiento de medios y digitales de alta intensidad y alta velocidad de datos: las docenas de canales DMA y la caché configurable de Blackfin satisfacen perfectamente las necesidades de los sistemas de videovigilancia para cálculos de gran tamaño. requisitos de rendimiento de datos; ADI ha desarrollado especialmente códecs de audio y video totalmente optimizados y los ha proporcionado a grandes clientes de forma gratuita; para aplicaciones de video, Blackfin integra muchos controladores de hardware, incluidos controladores WiFi y 4 controladores de operación aritmética de video de Blackfin. las unidades y el conjunto de instrucciones de píxeles de video aceleran en gran medida la velocidad de operación de video en algunos operadores básicos de análisis de video inteligente, como estadísticas de histograma, operación de mediana, operación de Sobel y operaciones de expansión de morfología, etc., pueden usar las instrucciones MIN y MAX de Blackfin para eliminar saltos condicionales. y guardar ciclos de procesador. No solo eso, Blackfin también admite 13 tipos de operaciones vectoriales en datos que no son de video. Al diseñar adecuadamente la estructura de datos, las instrucciones especiales de Blackfin se pueden utilizar en varios aspectos, como la separación de primer plano y fondo, el cálculo de umbrales y la actualización, para acelerar el algoritmo de análisis de video inteligente.
La mayoría de estas instrucciones, que ya son eficientes por sí mismas, se pueden ejecutar en paralelo, duplicando la potencia de procesamiento de Blackfin.
El bajo consumo de energía y la estabilidad son importantes. Teniendo en cuenta que los equipos de videovigilancia inteligentes suelen funcionar las 24 horas del día, los 7 días de la semana, la estabilidad y el consumo de energía también son importantes. En términos de bajo consumo de energía, el procesador Blackfin utiliza una variedad de tecnologías de ahorro de energía: se basa en un diseño de núcleo de reloj estroboscópico que puede cortar selectivamente la energía de las unidades funcionales según las instrucciones una por una; momentos que requieren una acción mínima de apagado de la CPU; los procesadores Blackfin admiten un circuito de administración de energía dinámico autónomo que permite el control independiente de la frecuencia de operación y el voltaje para cumplir con los requisitos de rendimiento del algoritmo que se ejecuta en el chip; Circuito de estabilización de voltaje central y puede funcionar a voltajes tan bajos como 0,8 V. La arquitectura de procesamiento convergente única de Blackfin y el proceso de 90 nm sientan las bases para su procesamiento líder de bajo consumo. Debido a la alta potencia de procesamiento, la solución del sistema basada en la plataforma Blackfin puede reducir la cantidad de chips principales, y las ricas funciones e interfaces pueden satisfacer las necesidades de varios periféricos y expansión de funciones, reduciendo la cantidad de componentes y garantizando así una mayor estabilidad. y confiabilidad. Actualmente, las características de bajo consumo de energía y la estabilidad del Blackfin DSP son las mejores entre los DSP del mismo rango de precios.
¿Qué sistemas operativos integrados son compatibles? El análisis de vídeo inteligente suele ser una aplicación basada en red que debe ser compatible con el sistema operativo. Por lo tanto, es muy importante elegir una solución con amplias capacidades de soporte del sistema integrado. Esto garantizará que los productos futuros no tengan que reemplazar la plataforma de hardware. cuando se reemplaza el sistema operativo, asegurando la disponibilidad continua de los resultados de I+D. Actualmente hay muchos sistemas operativos integrados disponibles, cada uno con sus propias ventajas. La capacidad de la solución de plataforma de hardware para admitir estos sistemas operativos es uno de los puntos clave a considerar al seleccionar una solución. Por ejemplo, el procesador Blackfin puede admitir los principales sistemas operativos actuales, incluidos uCLinux, ThreadX, Nucleus, uCOS-II y más de diez sistemas operativos integrados. Los clientes pueden elegir software familiar o más rentable según sus propios requisitos básicos de arquitectura.
Figura 2: Diagrama de bloques del terminal de monitoreo inteligente basado en BF561.
2. Herramientas de desarrollo y recursos disponibles
Los equipos de videovigilancia inteligentes son un sistema complejo que implica un complejo diseño de software y hardware, interfaz hombre-máquina, conexiones de comunicación, etc., y tiene unas altas prestaciones. Dificultad en el diseño del sistema. Por lo tanto, si la solución de plataforma de hardware seleccionada puede proporcionar un conjunto completo de herramientas de desarrollo, los módulos de software necesarios, diseños de referencia maduros, soporte de diseño de sistemas y si tiene un ecosistema de diseño completo, etc., determinará si el sistema se puede completar a tiempo. con alta calidad. El diseño es muy crítico. De hecho, no todos los proveedores de soluciones de plataforma pueden brindar este soporte.
Tomemos como ejemplo los procesadores de la serie Blackfin. Las plataformas de hardware que utilizan procesadores Blackfin van desde DVR generales, cámaras IP, videovigilancia digital hasta videovigilancia inteligente, y han sido ampliamente adoptadas por una gran cantidad de empresas de equipos. el mundo. Muchas empresas prefieren los procesadores Blackfin y tener herramientas de desarrollo completas y diseños de referencia es una de las razones importantes de su gran popularidad. ADI ofrece herramientas, kits de inicio y soporte líderes en la industria, incluido el conocido software y herramientas de hardware ADI CROSSCORE que admiten otros procesadores Blackfin, incluido el galardonado entorno de depuración y desarrollo integrado VisualDSP (IDDE), emuladores y EZ-KIT. Hardware de evaluación Lite.
Para mejorar la eficiencia del desarrollo y reducir la dificultad del desarrollo, el desarrollo debe realizarse con los recursos existentes tanto como sea posible, como las rutinas abiertas. ADI proporciona un conjunto muy rico de rutinas y materiales para este propósito. Por ejemplo, ADI proporciona un paquete de software de biblioteca de funciones de procesamiento de imágenes "Image Tool Box" gratuito, que está especialmente optimizado para funciones matemáticas comúnmente utilizadas en aplicaciones de procesamiento de imágenes para que los clientes las llamen cuando desarrollen aplicaciones.
ADI también proporciona diseños de referencia completos, así como placas de evaluación, herramientas de desarrollo, IP de algoritmos y módulos de aplicaciones desarrollados por socios locales, así como soluciones completas llave en mano que incluyen software y hardware proporcionados por socios externos. La aplicación de videovigilancia del procesador Blackfin cuenta actualmente con muchos socios externos con una rica experiencia en ingeniería en China y se ha establecido un ecosistema completo.
Tomemos el anuncio de ADI en marzo de este año como ejemplo de un diseño de referencia completo de cámara de visión artificial y vigilancia IP basado en el Blackfin BF526C de la empresa, que proporciona vídeo y audio potentes en un único procesador convergente. proporcionando a los ingenieros un entorno de desarrollo de software unificado que permite una depuración e implementación más rápidas del sistema, así como menores costos del sistema. El procesador proporciona códecs de audio integrados, transmisión de video y protocolos IP, memoria DRAM en chip e interfaces para almacenamiento Ethernet 10/100, USB y SD y un puerto RS-232 local. Esta solución totalmente programable puede cumplir con múltiples estándares de compresión de video, como H.264 y MPEG4, y admite la codificación del estándar de audio G.729. Admite comunicación de voz bidireccional desde el centro de control a la cámara, así como movimientos de giro, inclinación y estiramiento de la lente utilizando los protocolos Pelo-P o Pelo-D. El diseño de referencia también proporciona una tarjeta secundaria con un procesador BF561 de doble núcleo, lo que permite que el sistema alcance resoluciones de video más altas y proporcione capacidades avanzadas de análisis de video, como detección y seguimiento de movimiento.
Solución de aplicación revelada: cámara de red inteligente Emvideo
Beijing Emvideo Technology Co., Ltd. (Emvideo) es un proveedor de soluciones de productos de seguridad inteligentes profesionales y está autorizado por ADI de los Estados Unidos. Estados terceros socios. Yiwei Oriental tiene actualmente una variedad de productos basados en la plataforma de hardware con el procesador ADI Blackfin como núcleo. Entre ellos, la solución general de videovigilancia inalámbrica WiFi llave en mano "software + hardware" se basa en la arquitectura de doble procesador BF536 + BF561. La estructura de hardware de la solución es como se muestra en la figura 3.
El procesador BF536 actúa como procesador principal. Además de completar algunas funciones básicas de gestión y control, como codificación de audio, control remoto y control de interacción del usuario, también es responsable del funcionamiento del sistema operativo integrado uClinux. , así como avanzada La función de análisis de video inteligente puede completar una variedad de análisis de video inteligente, como seguridad, comportamiento humano y transporte inteligente. El BF561 de doble núcleo sirve como coprocesador responsable del algoritmo de codificación de video. Sus poderosas capacidades de procesamiento de video permiten que la solución admita transmisiones de código dual H.264 de clase básica @Level3.0 y MPEG4 D1. se puede ampliar para admitir transmisión dual H. .264 D1 CIF. Los dos procesadores pueden comunicarse a través de una interfaz serie síncrona de alta velocidad. La señal de video ingresa primero al procesador BF561, y el flujo de código codificado se recopila y envía al procesador BF536, y luego se envía al cliente a través de la red para su decodificación y visualización. .
Figura 3: Diagrama de estructura de hardware de la solución utilizando Blackfin BF536 y BF561.
Esta solución utiliza un método avanzado de modelado de fondo, que puede superar eficazmente la interferencia causada por cambios de luz, cambios de hojas, ondas de agua y otros fondos en el análisis de objetivos en primer plano, y lograr una detección precisa en primer plano mientras rastrea los objetivos. adopta un cálculo y amplificación optimizados únicos para lograr una tasa de precisión de más del 90% en la aplicación de detección de intrusiones (incluidas advertencias regionales y detección de cables trampa). Todo esto se logra basándose en las poderosas capacidades de procesamiento de la arquitectura de hardware de doble procesador BF536+BF561.
La función de análisis de video inteligente de esta solución fue desarrollada de forma independiente por Yiwei Oriental Company. El algoritmo único y la rica experiencia en el desarrollo de tecnología de análisis de video inteligente garantizan que se cumplan las necesidades de aplicaciones de identificación inteligente de los clientes. Se proporcionan actualizaciones de software a los clientes. Servicios integrales incluidos. Dado que las aplicaciones de reconocimiento de video inteligente actualmente no tienen estándares de requisitos ni estándares de prueba a seguir, las soluciones de análisis de video generalmente deben optimizarse en función de las características y necesidades de la aplicación del cliente.
Por ejemplo, algunos usuarios son del sistema de metro, y las funciones que necesitan son detectar si cruzan la línea amarilla de espera, si la densidad de multitud es demasiado grande, si quedan objetos sospechosos, etc.; El sistema bancario, y lo que necesitan es el funcionamiento de los cajeros automáticos. El monitoreo inteligente incluye analizar si hay instalado un teclado falso o un tragatarjetas, si hay violencia en el cajero automático, si aparece la cara de un delincuente, etc. Con esta solución, los clientes pueden ajustar fácilmente el algoritmo según las necesidades del usuario. El procesamiento de video inteligente requiere que el chip tenga potentes capacidades de procesamiento. Se deben implementar muchos algoritmos en el procesamiento paralelo. Blackfin DSP tiene ventajas únicas en el procesamiento de algoritmos en paralelo. En particular, los núcleos DSP duales del ADSP-BF561 pueden realizar un procesamiento de video inteligente muy complejo. algoritmo. Esto es difícil de lograr con MCU ASIC tradicional o soluciones DSP generales.
El software y el hardware de esta solución han sido aplicados y verificados, y han sido producidos por muchos clientes. Las aplicaciones objetivo serán principalmente usuarios de industrias como la supervisión de la eficiencia administrativa del gobierno y los sistemas educativos.