Clasificación de tareas de segmentación semántica de muestra pequeña

Definición de símbolo:

Predecir QUERY utilizando información del soporte S, entrenar en clases base (fase de aprendizaje de clase base) y probar en nuevas categorías (fase de evaluación). Pero para cada clase en Q, se deben proporcionar K imágenes de respaldo.

La clase base tiene suficientes datos de entrenamiento etiquetados, mientras que cada nueva clase solo tiene K muestras etiquetadas.

Hay tres pasos de entrenamiento específicos:

1) Fase de aprendizaje de la clase base: entrenar la representación de la clase base

2) Fase de registro de nueva clase: usar N K Muestras de soporte para obtener N nuevas clases y formar un nuevo clasificador

3) Etapa de evaluación: Predecir las etiquetas de la clase base y la nueva clase en el conjunto de prueba*.

A diferencia de la segmentación tradicional de muestras pequeñas, el conjunto de entrenamiento no se proporciona de una vez, sino que se obtiene gradualmente a través de múltiples iteraciones. Cada iteración contiene un nuevo conjunto de clases para aprender y un subconjunto de datos.

Desde una perspectiva de fórmula, en el késimo paso de entrenamiento, tenemos un nuevo conjunto de etiquetas que consta del conjunto de etiquetas anterior y un nuevo conjunto de categorías, mientras que los datos de entrenamiento son , los datos de entrenamiento se utilizan para actualizar el modelo anterior para obtener un nuevo modelo.

La segmentación semántica continua consta de tres categorías diferentes: continua, discontinua y superpuesta.

Cada paso de aprendizaje contiene un conjunto único de imágenes cuyos píxeles están relacionados con las categorías vistas en el paso de aprendizaje actual o anterior. En cada paso, aparecen etiquetas para los píxeles de "clase antigua" y "clase nueva".

Las imágenes nuevas contienen etiquetas para las categorías nuevas y antiguas.

En cada paso de aprendizaje, el conjunto único de imágenes es idéntico a estas configuraciones secuenciales. La diferencia entre configuraciones secuenciales es el conjunto de etiquetas. En cada paso, solo aparecen las etiquetas de los píxeles de la nueva categoría, mientras que la categoría anterior se etiqueta como fondo.

La nueva imagen contiene solo la etiqueta de la nueva categoría, mientras que la categoría anterior se coloca en el fondo.

Cada paso de entrenamiento incluye todas las imágenes con al menos un píxel perteneciente a la nueva categoría, donde solo la nueva categoría tiene anotaciones, el resto se establece en segundo plano. A diferencia de otras configuraciones, aquí la imagen puede contener píxeles de categorías que se aprenderán en pasos de aprendizaje futuros, pero en el paso actual están anotados en segundo plano.

La nueva imagen solo contiene píxeles de las etiquetas de la nueva categoría. , las imágenes se repiten en el paso de entrenamiento y se asocian con diferentes mapas semánticos