Modelos de clasificación de texto comunes
La arquitectura del modelo Fasttext es muy similar a la arquitectura del modelo CBOW de Word2vec. El siguiente es el diagrama de arquitectura del modelo FastText:
En comparación con la red CNN de imágenes tradicional. TextCNN tiene una mejor estructura de red. Nada cambia. Convolución, una capa de agrupación máxima y finalmente clasificación por softmax externo
En términos generales, el estado oculto LSTM directo/inverso se toma en el último paso de tiempo y luego se une y luego se usa capa softmax para clasificación múltiple o tomar el estado oculto de LSTM directo/inverso en cada paso de tiempo, y luego unirlos para una clasificación múltiple o tomar el estado oculto de LSTM directo/inverso en cada paso de tiempo, luego unirlos para una clasificación múltiple; o tomar el estado oculto de LSTM hacia adelante/hacia atrás en cada paso de tiempo y luego unirlos para una clasificación múltiple. Tome el LSTM inverso en cada paso de tiempo, empalme los dos estados ocultos de cada paso de tiempo en concat, luego tome el promedio de los estados ocultos concatenados en todos los pasos de tiempo y luego realice una clasificación múltiple a través de la capa softmax
Similar a TextCNN, TextCNN representa el texto como una matriz de incrustación y el texto como una matriz de incrustación. TextCNN es similar a TextCNN en que representa el texto como una matriz de incrustación y luego realiza operaciones de convolución. La diferencia es que cada fila de la matriz de incrustación de texto en TextCNN es solo una representación vectorial de una palabra en el texto, mientras que cada fila de la matriz de incrustación de texto en RCNN es la concatenación del vector de palabras de la palabra actual y el contexto de incrustación. representación
En comparación con el modelo BiLSTM anterior utilizado para la clasificación de texto, la principal diferencia del modelo BiLSTM + Attention es que después de la capa BiLSTM, toda la matriz de incrustación de texto se representa como una capa softmax y luego convolucionado con la capa softmax. La principal diferencia del modelo BiLSTM + Attention es que después de la capa BiLSTM, una estructura llamada capa Atención se conecta antes de la capa de clasificación softmax completamente conectada
La primera capa utiliza la incrustación de área de texto, que en realidad es una Los bloques de texto de n-gramas se convolucionan y el mapa de características resultante se utiliza como incrustación del bloque de texto. La primera capa adopta la incrustación de regiones de texto, que en realidad es una convolución de bloques de texto de n-gramas. Luego hay una pila de bloques convolucionales, compuesta por dos capas convolucionales y atajos. La capa convolucional intermedia es una capa de agrupación máxima con un paso de 2 y se utiliza para muestreo negativo. La última capa de agrupación integra los datos de cada documento en un vector
Nuevos miembros de PNL, bienvenidos a comunicarse con nosotros, aprender unos de otros y crecer juntos
Nuevos miembros de PNL, bienvenidos Comuníquese con nosotros, aprenda unos de otros y crezcamos juntos
Nuevos miembros de PNL, pueden comunicarse con nosotros, aprender unos de otros y crecer juntos.