Tecnología de comprensión del lenguaje hablado en sistemas de diálogo (I)

Fuente del artículo: /p/50095779

Para la serie de diálogos, estudié el artículo vinculado anteriormente y planeé aclarar primero el contexto de todo el sistema de diálogo y registrarlo. Mientras aprendes, haz que tu efecto de aprendizaje sea más profundo. Si desea leerlo, se recomienda leer el artículo sobre el código fuente de Gran Hermano.

La comprensión del lenguaje natural (NLU) se refiere a la obtención de representaciones semánticas que pueden ser utilizadas directamente por las computadoras. Por ejemplo, semántica de distribución, semántica de marcos, semántica de teoría de modelos, etc. En este artículo utilizamos la semántica de marcos. NLU participa en muchos campos o tareas de PNL, como respuesta a preguntas, recuperación de información, comprensión lectora, sistemas de diálogo y muchas tareas que requieren NLG. Diferentes tareas requieren diferentes NLU, por lo que hoy discutiremos NLU en sistemas de diálogo. La parte de comprensión del lenguaje natural (NLU) de los sistemas de diálogo se llama SLU.

Dado que SLU tiene mucho contenido, planeamos presentarlo en tres entregas. La primera vez trata sobre la clasificación de dominios y el reconocimiento de intenciones, la segunda vez trata sobre el llenado de espacios y la tercera vez trata sobre LU estructural, LU contextual y criterios de comparación y evaluación de varios métodos de NLU.

El sistema de diálogo se divide en chat informal, tareas, preguntas y respuestas de conocimientos y recomendaciones según sus funciones. NLU varía según los diferentes tipos de sistemas de chat.

NLU en conversaciones de chat es reconocimiento de intenciones basado en contexto, análisis de sentimientos, etc., y sirve como entrada para la gestión del diálogo (DM);

NLU en conversaciones basadas en tareas es dominio; clasificación y reconocimiento de intenciones, llenado de espacios. Su entrada es la expresión de la entrada del usuario y la salida es Un = (In, Zn), donde In es la intención y Zn es el par de plantación de ranuras.

La NLU en el diálogo de preguntas y respuestas basado en el conocimiento se basa principalmente en las preguntas del usuario, la identificación del tipo de pregunta y la clasificación de las preguntas, para realizar con mayor precisión la recuperación de información o la coincidencia de texto, y generar el conocimiento requerido por el usuario (conocimientos, entidades, fragmentos, etc.).

NLU en los sistemas de diálogo basados ​​en recomendaciones realiza coincidencias de intereses en función de diversos datos de comportamiento del usuario y pasatiempos para encontrar un conjunto más preciso de candidatos a recomendaciones.

Echemos un vistazo a mi resumen de la clasificación de dominio/intención de NLU en sistemas de diálogo basados ​​en tareas.

A continuación se presentarán diferentes técnicas de clasificación de dominio/intención en sistemas de diálogo.

Este es el SVM o MaxEnt tradicional. El modelo es el MaxEnt o SVM tradicional (varias variantes diferentes, varias funciones del kernel diferentes, etc. Las características son principalmente la sintaxis, el léxico y el léxico del usuario). Entrada Las características de la parte del discurso y los conjuntos de etiquetas para la clasificación están predeterminados. Hay muchos artículos en esta área, pero llevan un tiempo relativamente largo. Creo que todo el mundo lo sabe, así que no lo repetiré.

Este método se basa en la red de creencias profundas, que es un modelo generativo compuesto por múltiples capas de Máquinas de Boltzmann restringidas, "restringidas" a la capa visible y la capa oculta, hay conexiones entre capas, pero hay No hay conexiones entre unidades dentro de la capa. Hay conexiones entre capas, pero no conexiones entre unidades dentro de una capa. Las unidades de capa oculta están entrenadas para capturar la correlación de datos de orden superior expresados ​​en la capa visual.

Específicamente para este artículo, la idea principal es: realizar un entrenamiento sin supervisión con pesas y luego utilizar la presión arterial para realizar ajustes. Además, se realizan comparaciones con SVM, entropía máxima y aumento.

Esta es una NLU basada en redes convexas profundas (una arquitectura de clasificación de patrones escalable). Puede consultar el artículo de Li Deng publicado en Interspeech en 2011.

La idea principal de este trabajo es utilizar n-gramas para realizar la selección de características en el enunciado del usuario y luego simplemente clasificar el enunciado del usuario. El apilamiento es un método de recolección, al igual que el embolsado y el impulso. El apilamiento se refiere al entrenamiento de un modelo para usarlo junto con otros modelos, lo que en este caso equivale a una clasificación de dos niveles. Debe entrenar varios modelos diferentes y luego entrenar un modelo utilizando el resultado del modelo entrenado como entrada para obtener el resultado final.

Además, los métodos basados ​​en DCN se han extendido a kernel-DCN (Deng et al., 2012).

Este método utiliza RNN y LSTM, por lo que no hay problemas de modelado. La conclusión final es que es mejor clasificar la intención después de haber ingresado todas las palabras.

Este método utiliza RNN CNN para clasificar conversaciones, propone un modelo basado en RNN y CNN e integra cortos de programas. Si los artículos breves aparecen en secuencia, el uso de artículos breves del programa puede mejorar el efecto de clasificación. Esta es también la mayor motivación e innovación de este artículo. Los hechos han demostrado que logra el efecto SOTA.

Dos partes de este artículo: uso de RNN/CNN para convertir textos cortos en representaciones vectoriales y clasificación ACT basada en representaciones vectoriales basadas en texto y textos cortos PRECEDENTES.

Además, existen métodos basados ​​en reglas para la clasificación de dominio/intención, como CFG y JSGF. Si estás interesado, puedes echar un vistazo. Para la segmentación basada en RNN, también existen métodos RCNN (Lai et al., 2015) y métodos C-LSTM (Zhou et al., 2015).

Lo anterior es un resumen de mi clasificación de dominio/intención en NLU conversacional. A continuación se publican algunos artículos representativos para su estudio en profundidad. Además, si todavía tiene muchas cosas que no comprende después de leer el artículo, puede discutirlas conmigo en WeChat.

Redes de creencias profundas para el enrutamiento de llamadas en lenguaje natural, Sarikaya et al., 2011

Hacia una comprensión más profunda: redes convexas profundas para la clasificación de expresiones semánticas, Tur et al., 2012

p>

Uso de redes convexas profundas del núcleo y aprendizaje de un extremo a otro para la comprensión del lenguaje hablado, Deng et al, 2012

Red neuronal recurrente y modelos LSTM para la clasificación de expresiones léxicas , Ravuri et al, 2015

Clasificación secuencial de textos cortos con redes neuronales recurrentes y convolucionales, Lee et al.