#fundamentos

22 páginas con esta etiqueta.

Roadmap

Coste y latencia: medir antes de optimizar
Cómo medir tokens, tiempo total y tiempo hasta el primer token de cada llamada, convertirlo en coste y registrar todo para decidir con datos.
La ventana de contexto y qué cabe en ella
Qué ocupa la ventana de contexto en cada petición, por qué la API no recuerda nada entre llamadas y qué hacer cuando una conversación deja de caber.
Nivel 00 · Fundamentos
Qué es un LLM, cómo se mide en tokens, qué cabe en su contexto y cómo hacer tu primera llamada a la API midiendo coste y latencia.
Qué es un agente (y cuándo basta un workflow)
La diferencia entre un workflow y un agente, la escalera de complejidad de Building effective agents y un método práctico para decidir qué necesita tu problema.
Qué es un LLM y qué no es
Qué hace un modelo de lenguaje por dentro, por qué genera texto token a token y qué consecuencias prácticas tiene eso para lo que construyes.
Tokens: la unidad con la que se mide todo
Qué es un token, por qué no coincide con una palabra y cómo contarlos con la API antes de enviar una petición para controlar coste y límites.
Tu primera llamada a la API
Instala el SDK, configura la clave en una variable de entorno y haz tu primera petición a la API de Mensajes leyendo bien cada campo de la respuesta.

Fundamentos
Referencia básica de la API de mensajes, desde la primera llamada hasta los roles, los bloques de contenido y el streaming.
Introducción a la documentación
Qué cubre la documentación de MoreContext, sus convenciones de código y cómo preparar tu entorno para seguir los ejemplos.
La API de mensajes: roles y bloques
Referencia de la estructura de una conversación en la API de mensajes, con roles user y assistant, tipos de bloque y reglas de alternancia.
Tu primera llamada
Anatomía de una petición a la API de mensajes: parámetros obligatorios y opcionales, forma de la respuesta, stop_reason, usage y errores.

Alucinación
Respuesta del modelo que suena plausible pero es falsa o no está respaldada por ninguna fuente.
Destilación
Entrenar un modelo pequeño con las salidas de uno más grande para que imite su comportamiento a menor coste.
Fine-tuning
Continuar el entrenamiento de un modelo con datos propios para ajustar su comportamiento a una tarea o un estilo.
LLM
Modelo de lenguaje grande, una red neuronal entrenada con mucho texto que genera texto prediciendo el siguiente token.
max_tokens
Parámetro obligatorio que fija el máximo de tokens que el modelo puede generar en una respuesta; es un límite duro.
Temperatura
Parámetro de muestreo que controla cuánta aleatoriedad hay al elegir cada token de la respuesta.
Token
Unidad mínima de texto que procesa el modelo, normalmente un trozo de palabra; con ella se miden contexto, coste y límites.
Tokenizador
Componente que convierte el texto en la secuencia de tokens que procesa el modelo, y los tokens de vuelta en texto.
Top-p
Parámetro de muestreo que limita la elección de cada token a los más probables cuya probabilidad acumulada llega a p.
Transformer
Arquitectura de red neuronal basada en atención sobre la que se construyen los LLM actuales.
Ventana de contexto
Número máximo de tokens que el modelo puede considerar en una petición, sumando entrada y salida.