Cómo usar Tensorflow para construir un modelo Seq2seq

Utilice segmentación de palabras tartamudas.

Eliminar palabras de baja frecuencia

En el código, use vocabulario_size para limitar el tamaño de la lista de palabras. Reemplace las palabras que no están en la lista de vocabulario con UNK. Por ejemplo, si la palabra "no lineal" no estuviera en el vocabulario, la frase "La no linealidad es importante en las redes neuronales" se convertiría en "UNK es importante en las redes neuronales".

Prepare las etiquetas de inicio y fin y las etiquetas de relleno

En el lado del decodificador, GO representa el inicio de la decodificación, EOS se usa para representar el final de la decodificación y PAD se usa para representar relleno. El modelo utiliza agrupaciones para procesar oraciones de diferentes longitudes. Si la entrada es una oración en inglés de 3 tokens de longitud y la salida correspondiente es una oración en francés de 6 tokens de longitud, se colocarán en un depósito de . La entrada del codificador se rellenará hasta una longitud de 5, la entrada del decodificador se rellenará hasta una longitud de 10 y la etiqueta de relleno es PAD.