Tokenizador
Componente que convierte el texto en la secuencia de tokens que procesa el modelo, y los tokens de vuelta en texto.
También: tokenizer · tokenización
GlosarioEl tokenizador es la pieza que traduce texto a tokens (identificadores numéricos de un vocabulario fijo) antes de que el modelo lo procese, y hace la conversión inversa al generar. Cada familia de modelos tiene el suyo, aprendido sobre su corpus de entrenamiento, normalmente con métodos de subpalabras como byte-pair encoding.
En la práctica
Como el vocabulario se construye con las secuencias más frecuentes, las palabras comunes en inglés suelen ser un token y las palabras raras, los nombres propios, otros idiomas o el código se parten en varios. Por eso el mismo contenido cuesta distinto según el idioma y el modelo. Al cambiar de modelo, vuelve a medir: el recuento puede variar. Usa el endpoint de conteo del proveedor (client.messages.count_tokens(...) en Anthropic) en lugar de librerías de otros modelos.
No confundir con
- Embeddings: los vectores que representan significado; el tokenizador solo corta y numera.
- Chunking: trocear documentos para buscar en ellos.