Análisis de redes neuronales convolucionales tridimensionales basado en teledetección hiperespectral
La teledetección de alta resolución espectral es una tecnología que utiliza canales espectrales muy estrechos y continuos para realizar imágenes de teledetección continua de objetos terrestres. En las bandas visible, infrarroja cercana, infrarroja media e infrarroja térmica del espectro electromagnético, se utilizan espectrómetros con resoluciones espectrales de hasta nanómetros para obtener imágenes simultáneas de objetos terrestres en docenas o incluso cientos de bandas para obtener múltiples imágenes extremadamente estrechas y continuas. La información de banda espectral realiza la adquisición simultánea de información espacial, información de radiación e información espectral de objetos terrestres, que es esencialmente la mejora continua de la resolución espectral. Dado que los datos de imágenes de teledetección hiperespectral tienen una rica información de bandas espectrales, sus campos de aplicación son relativamente amplios. Por ejemplo, en el monitoreo de teledetección agrícola, los datos de teledetección hiperespectral se pueden utilizar para calcular el índice de vegetación normalizado, el índice de área foliar, el contenido de clorofila y otra información. Analizar y evaluar los cambios en el crecimiento de las plantas, las plagas y enfermedades, y su grado de contaminación del suelo, promoviendo así un desarrollo eficiente y de alta calidad de la agricultura. Según informes pertinentes, el Ministerio de Recursos Naturales ha utilizado datos de imágenes satelitales hiperespectrales para llevar a cabo operaciones a gran escala en estudios de cambio de recursos forestales, auditorías de recursos naturales, respuesta a emergencias ante desastres, monitoreo de condiciones geográficas y monitoreo del crecimiento de la vegetación en las principales áreas funcionales ecológicas. Demostración de la aplicación. Se puede ver que la tecnología de teledetección hiperespectral se ha utilizado ampliamente en el trabajo práctico y también tiene amplias perspectivas de aplicación en otros campos, como el monitoreo de la calidad del agua del océano, la exploración geológica, la teledetección forestal y el ejército moderno.
Figura 1 Comparación de imágenes de teledetección con diferentes resoluciones espectrales
Con el continuo progreso y desarrollo de la ciencia y la tecnología, las imágenes hiperespectrales tradicionales muestran muchas deficiencias en la clasificación y expresión de características. capacidades limitadas, alta redundancia, débil capacidad de generalización y mala precisión de clasificación, ya no puede satisfacer las necesidades actuales de clasificación de alta precisión. Con el desarrollo continuo del aprendizaje profundo, las redes neuronales convolucionales pueden realizar un aprendizaje supervisado y no supervisado y pueden manejar problemas de clasificación de imágenes de detección remota hiperespectrales a un nivel más profundo.
La red neuronal convolucional es un tipo de red neuronal basada principalmente en operaciones de convolución. A menudo se usa para extraer características de imágenes y puede usarse para clasificación de imágenes, segmentación semántica, generación de imágenes y otras funciones. Dado que la red neuronal convolucional tiene características estructurales como vinculación de área local, uso compartido de peso y reducción de resolución, la red neuronal convolucional tiene la capacidad de reducir la cantidad de pesos de entrenamiento, reducir el sobreajuste y tener mayores capacidades de generalización en la extracción de características. Soporte técnico para la clasificación de imágenes de teledetección hiperespectral. La capa de entrada de la red neuronal convolucional puede procesar datos multidimensionales, que son una red neuronal convolucional unidimensional (1DCNN) y una red neuronal convolucional bidimensional (2DCNN). Red neuronal convolucional (3DCNN). En una red neuronal convolucional unidimensional, el núcleo se mueve en una dirección, en una red neuronal convolucional bidimensional, el núcleo se mueve en dos direcciones y en una red neuronal convolucional tridimensional, el núcleo se mueve en tres direcciones. Por lo tanto, este artículo compara la clasificación de características de imágenes de teledetección hiperespectrales mediante el estudio de métodos de redes neuronales convolucionales con diferentes dimensiones de entrada, y verifica que las especies de extracción, redundancia y clasificación de características de redes neuronales convolucionales tridimensionales en la clasificación de imágenes hiperespectrales son más efectivas. que las redes neuronales convolucionales en otras dimensiones.
Este artículo estudia principalmente los métodos de uso de redes neuronales convolucionales de diferentes dimensiones para la clasificación de imágenes de teledetección hiperespectrales. En las redes neuronales convolucionales, la red neuronal convolucional unidimensional (1DCNN) se usa generalmente para obtener características espectrales de imágenes de teledetección hiperespectrales, la red neuronal convolucional bidimensional (2DCNN) se usa para obtener características espaciales y la red neuronal convolucional tridimensional. Se utiliza una red (3DCNN) o una red neuronal convolucional unidimensional más una red neuronal convolucional bidimensional (1DCNN 2DCNN) para obtener características espectrales y espaciales. Utilizando redes neuronales convolucionales de diferentes dimensiones para extraer características de imágenes de detección remota hiperespectrales, se construyó un conjunto de modelos de métodos que incluye 1DCNN, 2DCNN, (1D 2DCNN, 3DCNN) en diferentes conjuntos de datos.
3.1 Análisis del método de red neuronal convolucional unidimensional (1DCNN) basado en teledetección hiperespectral
En la red neuronal convolucional unidimensional, la imagen de la capa de entrada de la red neuronal convolucional es Todos los píxeles son ensamblados por la red neuronal convolucional en un vector de fila, que es una dimensión unidimensional. Este vector de dimensión unidimensional se puede utilizar para representar información espectral. La capa convolucional realiza dos convoluciones en la capa de entrada y extrae píxeles. Este proceso se denomina extracción de características unidimensionales. La Figura 2 muestra el proceso de extracción de características espectrales de teledetección hiperespectral basado en una red neuronal convolucional unidimensional. Cada píxel de la imagen de detección remota hiperespectral se extrae después de procesos como convolución, reducción de resolución, convolución y reducción de resolución, y se utiliza para la extracción de características espectrales.
3.2 Análisis del método de red neuronal convolucional bidimensional (2DCNN) basado en teledetección hiperespectral
La red neuronal convolucional bidimensional tiene dos dimensiones espaciales de largo y ancho, y a menudo es Se utiliza para procesar información espacial. La capa de convolución bidimensional es la salida obtenida después de que la capa de entrada y el núcleo de convolución operan entre sí y agregan una diferencia escalar. La Figura 3 muestra el proceso de extracción de características espaciales de teledetección hiperespectral basado en una red neuronal convolucional bidimensional. Cada área local de los datos de la imagen hiperespectral se opera entre sí mediante el uso repetido de núcleos de convolución para obtener una determinada dimensión espacial (ancho y). longitud). Salida después de un nivel de características. El proceso de clasificación de imágenes también se puede completar mediante una red neuronal convolucional bidimensional.
3.3 Análisis de una red neuronal convolucional conjunta (CNN 1D 2D) basado en teledetección hiperespectral
La red neuronal convolucional conjunta (CNN) extrae características espectrales y espaciales basadas en imágenes de entrada, y luego se combinan a través de varias convoluciones. La información espectral se denomina extracción conjunta de características espaciales. La Figura 4 representa el proceso de extracción conjunta de características espaciales basado en imágenes de detección remota hiperespectrales. La Figura 4 muestra el proceso de extracción conjunta de características espectrales basado en imágenes de teledetección hiperespectrales. Las características espectrales y espaciales se extraen de la imagen hiperespectral de entrada y luego las características espectrales se fusionan con las características espaciales extraídas por la capa convolucional.
3.4 Análisis del método de red neuronal convolucional tridimensional (3DCNN) basado en teledetección hiperespectral
3DCNN tiene tres dimensiones espaciales de alto, ancho y profundidad, y el núcleo es 3DCNN, ancho y profundidad) Muévete en tres direcciones. Dado que el movimiento se produce en un espacio tridimensional, los valores de salida también se distribuyen según el espacio tridimensional. La Figura 5 muestra el proceso de adquisición de un modelo típico de CNN 3D basado en imágenes hiperespectrales para obtener directamente características espectrales nulas. Las características se extraen de los datos de imágenes hiperespectrales de entrada apilando varios píxeles consecutivos en un cubo y luego aplicando un núcleo de convolución tridimensional al cubo.