Transformer
Arquitectura de red neuronal basada en atención sobre la que se construyen los LLM actuales.
También: arquitectura Transformer · transformador
GlosarioEl Transformer es la arquitectura de red neuronal presentada en Attention Is All You Need (Vaswani et al., 2017). Su pieza central es la autoatención: para procesar cada Token, el modelo pondera todos los demás tokens del contexto y decide cuáles importan. Permite entrenar en paralelo con mucho texto, y por eso es la base de los LLM actuales.
En la práctica
No necesitas saber implementarlo para construir agentes, pero dos consecuencias te afectan a diario. Primera: los LLM de tipo decodificador generan un token cada vez, cada uno condicionado por todos los anteriores, así que la salida larga es lenta y cara. Segunda: el coste de la atención crece con la longitud del contexto, lo que explica en parte que la Ventana de contexto tenga un límite y que los tokens de entrada se paguen.
No confundir con
- LLM: el modelo entrenado. El Transformer es la arquitectura; el LLM, el resultado de entrenarla con datos.