¿Qué tal un ajuste fino?

Tenemos nuestra propia tarea de reconocimiento de imágenes, pero nuestro conjunto de datos es demasiado pequeño y el entrenamiento directo tiende a sobreajustarse.

Entonces, una mejor solución es entrenar en un conjunto de datos grande, extraer características superficiales más precisas y luego usar nuestro conjunto de datos para entrenar la red entrenada, lo que tendrá un efecto mucho mejor. Este proceso es un ajuste fino.

Todos han notado esta situación, por lo que

(1) Li Feifei tomó la iniciativa en la creación de imagenet, que es una enorme biblioteca de imágenes que cumple con todos nuestros requisitos para la capacitación inicial. Además, Google lanzó recientemente Open Images, que contiene 9 millones de imágenes etiquetadas, comparable al conjunto de datos de Imagenet.

(2) Algunas estructuras de red son muy clásicas, como Alexnet, Googlenet, VGGnet, ResNet, etc. Si queremos utilizar estas redes para nuestras propias aplicaciones, primero debemos entrenarlas en grandes conjuntos de datos (imagenet, etc.). ) y luego entrenarlos con nuestros propios datos; obviamente, el paso anterior es un paso repetitivo y requiere mucho tiempo y trabajo (tal vez varias semanas en varias máquinas). Por lo tanto, para resolver los problemas anteriores, varias bibliotecas de aprendizaje profundo (caffe, Tensorflow, torch) se entrenan de antemano en imagenet utilizando el entrenamiento de red clásico. Los modelos (parámetros) se publican en línea y podemos usarlos directamente y guardar un archivo. mucho dinero. Estos modelos (parámetros) son un zoológico modelo.

1. El resultado final del entrenamiento de Imagenet es de 1000 categorías, por lo que es probable que la estructura de la red sea una red clásica: capa completamente conectada (frontal), la última capa completamente conectada (1000 salidas).

2. Si quieres hacer ajustes finos.

Diseñamos nuestras propias redes.

(1) Red clásica: capa completamente conectada (frontal): última capa completamente conectada (salida de nuestra categoría)

(2) Red clásica: nueva

(3) Red clásica - capa de grupo de convolución (nueva) - nueva

Los tres cambios de red anteriores corresponden a diferentes tasas de aprendizaje, de pequeñas a grandes.

Durante el proceso de cambio, los parámetros con el mismo nombre de red se moverán directamente y se inicializarán diferentes parámetros según la configuración.

¡Asegúrate de prestar atención a la coincidencia de tallas durante el proceso de modificación!