Token
Unidad mínima de texto que procesa el modelo, normalmente un trozo de palabra; con ella se miden contexto, coste y límites.
También: tokens
GlosarioUn token es la unidad en la que el modelo lee y escribe texto. Suele ser un fragmento de palabra, una palabra corta, un signo de puntuación o un espacio. El Tokenizador de cada modelo decide cómo se corta el texto, así que el mismo texto puede dar recuentos distintos en modelos distintos.
En la práctica
Todo se mide en tokens: el tamaño de la Ventana de contexto, el límite de respuesta (max_tokens), el precio y buena parte de la Latencia. No estimes a ojo: cuéntalos.
n = client.messages.count_tokens(model=MODEL, messages=messages).input_tokensTras cada llamada, resp.usage te da input_tokens y output_tokens. Los de salida suelen costar más y son los que más tiempo tardan en generarse. El español, el código y el JSON tienden a ocupar más tokens por palabra que el inglés corriente.
No confundir con
- Palabra o carácter: no hay una equivalencia fija con los tokens.
- Embedding: un vector que representa un texto entero, no una unidad de texto.