Algoritmo de puntuación automática para artículos

La puntuación automática de ensayos se conoce como AES (Puntuación Automatizada de Ensayos). El sistema AES utiliza tecnología NLP para calificar automáticamente los artículos, lo que puede reducir la carga de calificar a los profesores. En la actualidad, muchos exámenes a gran escala utilizan el algoritmo AES para calificar artículos, como el examen GRE, si la puntuación de AES y la puntuación del profesor de calificación son demasiado diferentes, el profesor de calificación y el sistema AES calificarán juntos. , habrá un profesor de calificación adicional. Este artículo presentará dos algoritmos clásicos de puntuación automática.

Los algoritmos de puntuación automática se pueden dividir aproximadamente en tres categorías de algoritmos en términos de objetivos de optimización o funciones de pérdida:

Los algoritmos de puntuación automática tradicionales suelen establecer manualmente muchas características, como errores gramaticales, N tuplas, recuento de palabras, longitud de oraciones, etc., y luego entrene un modelo de aprendizaje automático para puntuar. También hay muchas formas de utilizar redes neuronales para conocer las características de los artículos.

Los siguientes son dos algoritmos de puntuación:

Extraído del artículo "Puntuación automática de papel basada en regresión". Dado que se deben calificar muchos artículos, las características de los artículos primero deben construirse utilizando características configuradas manualmente y características de espacio vectorial.

Errores ortográficos: utilice el paquete pyenchant para calcular el número de palabras mal escritas como porcentaje del número total de palabras.

Características estadísticas: cuente el número de caracteres, palabras, oraciones, párrafos, palabras de pausa, entidades nombradas, signos de puntuación (que reflejan la estructura organizativa del texto), longitud del texto (que reflejan la fluidez), Comparación de el número de palabras diferentes con el número total de palabras (que refleja el nivel de vocabulario). (refleja el nivel de vocabulario).

Conteo POS: cuenta la frecuencia de aparición de varios morfemas como sustantivos, verbos, adjetivos, adverbios, etc. Las partes del discurso se obtienen del paquete nltk.

Fluidez gramatical: utilice la gramática de enlaces para analizar oraciones y cuente el número de enlaces; cuente la probabilidad de aparición de n-tuplas; cuente la probabilidad de aparición de n-tuplas de parte del discurso.

Legibilidad: La puntuación de legibilidad es una medida de la organización y complejidad sintáctica y semántica del texto. La puntuación de legibilidad de Kincaid se utiliza como característica y se calcula de la siguiente manera

Características de la ontología: etiquete cada oración con investigación, hipótesis, afirmación, cita, apoyo y objeción.

Un artículo se puede proyectar en un modelo de espacio vectorial (VSM). El artículo se puede representar mediante un vector de características en el espacio vectorial. Por ejemplo, el artículo se puede codificar mediante un clic cuya longitud sea igual. a la longitud del vocabulario Para representar, si una palabra aparece en el artículo, la posición de la palabra se establece en 1, como se muestra a continuación:

Además, el vector TF-IDF también se puede utilizar para. Representa el texto, pero el texto se puede representar mediante el vector TF-IDF para representar. Los vectores IDF también se pueden utilizar para representar texto, pero con esta representación no existe correlación entre palabras. Para resolver este problema, el artículo utiliza la matriz de correlación de palabras W e introduce la correlación entre palabras mediante transformación lineal.

La matriz de correlación de palabras W se calcula a partir de los vectores de palabras generados por word2vec, es decir, W (i,j) = la similitud coseno de los vectores de palabras de la palabra i y la palabra j.

Finalmente, para considerar el orden de las palabras en el artículo, dividimos el artículo en k párrafos y luego calculamos las características del espacio vectorial por separado y las fusionamos.

Después de obtener las características anteriores, utilice el algoritmo SVR para el aprendizaje de regresión. El conjunto de datos es el conjunto de datos de competencia kaggle ASAP, que contiene una colección de 8 artículos. Los indicadores de evaluación utilizan KAPPA y coeficientes de correlación. Los siguientes son algunos resultados experimentales.

Este es el efecto de usar kernel lineal y kernel rbf en 8 artículos.

A continuación se muestra una comparación con evaluadores humanos.

El siguiente contenido es del artículo "Red neuronal para la puntuación automática de artículos". Se puede entrenar mediante métodos de regresión o clasificación. El modelo se muestra a continuación.

En el artículo se utilizan principalmente tres métodos para construir el vector de características del artículo:

En el artículo se utilizan principalmente tres arquitecturas de redes neuronales: NN (red neuronal directa), LSTM y BiLSTM.

Todos generarán un vector h (salida) y construirán una función de pérdida basada en h (salida). Las funciones de pérdida para regresión y clasificación son las siguientes.

Pérdida de regresión

Pérdida de clasificación

Primer modelo: NN (red neuronal directa)

Uso de dos capas de redes neuronales directas Red, el vector de características del artículo como entrada a la red es el promedio de los vectores de palabras de Glove o el promedio de los vectores de palabras de entrenamiento.

Segundo modelo:

El modelo LSTM acepta la secuencia de vectores de palabras de todas las palabras del artículo como entrada y luego utiliza el vector de salida final de LSTM como vector de características h( fuera) del artículo.

El tercer modelo: BiLSTM

Dado que los artículos suelen ser largos y LSTM unidireccional pierde fácilmente información anterior, el autor también utiliza el modelo BiLSTM, que combina LSTM directo y Las salidas de el modelo LSTM hacia atrás se suman como h (fuera).

Agregar vector TF-IDF

Como se muestra en la figura siguiente (tomando BiLSTM como ejemplo), la salida h (out) del modelo anterior se puede mejorar agregando TF- Vector de las FDI.

Puntuación automática de ensayos basada en regresión

Redes neuronales para puntuación automática de ensayos