Cómo entender token, tokenize, tokenizer.

1. Una explicación

token: token

tokenize: tokenización

tokenizer: analizador de tokens

p >

2. Otra traducción es: token se puede traducir como "token", tokenize se puede traducir como "análisis de token" o "token de análisis" y tokenizer se puede traducir como "token de análisis". tokenize se puede traducir como "análisis de tokens" o "análisis de tokens", y tokenizer se puede traducir como "analizador de tokens".

Al escribir lexers o analizadores, las palabras lexer y parser se usan a menudo, pero también se usan tokenize y tokenizer. Básicamente, todos los códigos fuente que involucran análisis léxico usan tokenize.

En el libro de Qiu Zhongpan "Mastering Java 2", escribió el siguiente pasaje:

La clase StreamTokenizer extrae subcadenas identificables del flujo de entrada de acuerdo con reglas definidas por el usuario y tokenización, un proceso llamado tokenización ([i]tokenización[/i]) porque la secuencia se reduce a símbolos tokenizados. Los tokens ([i]token[/i]) generalmente representan palabras clave, nombres de variables, cadenas, literales y puntuación sintáctica (como llaves).