Análisis de la serie MobileNet de redes neuronales convolucionales para aplicaciones de visión integradas y móviles

MobileNet V1 (2017)

(1) MobileNets utiliza convolución separable en profundidad para construir una red neuronal profunda ponderada liviana basada en una estructura optimizada. El componente central es la convolución separable en profundidad.

(2) MobileNet es un modelo basado en convolución separable en profundidad. La convolución separable en profundidad es un método que descompone una convolución estándar en una convolución profunda y una convolución 1x1, es decir, puntual. Producto

(3) La convolución de profundidad aplica un único filtro a cada canal de entrada para filtrar, y luego la convolución puntual aplica una operación de convolución 1x1 para combinar las salidas obtenidas por todas las convoluciones de profundidad.

(4) Para la convolución profunda, el espesor del núcleo de convolución no es el número de canales del tensor de entrada, sino 1, y el canal de salida es el número de núcleos de convolución. El grosor del núcleo de convolución de la convolución clásica tiene como valor predeterminado el número de canales en la imagen

(5) Función incorporada de tf de convolución separable: tf.layers.separable_conv2d

Cálculo de fórmula:

MobileNet V2 (2018)

(1) Mobilenet V2 se desarrolla sobre la base de Mobilenet V2 y presenta principalmente dos cambios: cuello de botella lineal y bloques residuales invertidos. Los dos cambios corresponden a V1 y Resnet respectivamente

(2) Problemas dejados por MobileNetV1

(3) Compare la microestructura de MobileNet V1 y V2

(4 ) Comparación de la microestructura de ResNet y MobileNet V2

MobileNet V3 (2019)

Dirección del artículo: La estructura de v2 pw-dw-pw, en la que se agrega h-swish al función de activación y, al mismo tiempo, se agrega una capa de excitación Squeeze basada en v2. Para configuraciones específicas, consulte la comparación del diagrama de parámetros de red en el documento

Entre ellas, la capa de excitación Squeeze

La capa de excitación Squeeze se introduce en función del modelo de atención ligera SENet en función de la estructura de excitación y compresión.

Documento: "Squeeze-and-Excitation Networks"

Enlace del artículo: https://arxiv.org/abs/1709.01507