Seguridad y prompt injection

En el roadmap viste lo esencial en una lección (Seguridad: prompt injection y permisos). Este curso parte de una premisa incómoda: hoy no existe una forma fiable de impedir que un modelo siga instrucciones escondidas en los datos que lee. Si tu agente lee correos, webs o documentos y además puede actuar, alguien acabará intentando darle órdenes. La pregunta útil es cuánto daño puede hacer cuando lo consiga.

Objetivo

Al terminar sabrás construir el modelo de amenazas de un agente concreto, reconocer la inyección de prompt directa e indirecta en sus distintas formas, montar una batería de pruebas de ataque y diseñar defensas en capas: separar datos de instrucciones, reducir capacidades, pedir confirmación, aislar la ejecución y filtrar la salida.

Para quién

Para quien diseña o mantiene agentes con acceso a datos privados o con capacidad de actuar (enviar, pagar, borrar, ejecutar código). También para responsables de seguridad que necesitan hablar el idioma de estos sistemas. Es un curso avanzado: supone que sabes construir un agente con herramientas y que has pensado en su despliegue.

Requisitos

• Nivel 40 · Tu primer agente: bucle agéntico y herramientas.
• Nivel 100 · Producción: observabilidad, humano en el bucle y despliegue.
• Recomendables: MCP: de cero a tu propio servidor (para la parte de servidores de terceros) y Evals para agentes (para convertir ataques en evals).

Temario

1. Modelo de amenazas de un agente. Activos, actores, puntos de entrada y capacidades. La combinación peligrosa de datos privados, contenido no fiable y un canal de salida. Un diagrama de flujo de datos con fronteras de confianza.
2. Inyección directa e indirecta. Del jailbreak a la inyección indirecta descrita por Greshake et al. (2023): webs, correos, documentos, resultados de herramientas y descripciones de servidores MCP. Exfiltración por enlaces e imágenes. Una batería de ataques reproducible.
3. Defensas en capas. Por qué ninguna defensa basta sola. Separar datos de instrucciones, seguimiento de contenido contaminado, confirmación, filtrado de salida y detección. El OWASP Top 10 para aplicaciones con LLM como lista de control.
4. Permisos y sandbox. Mínimo privilegio por herramienta y por usuario, políticas de aprobación, credenciales acotadas, sandbox con contenedores y control de salida de red.

Qué construyes

Para un agente tuyo: su modelo de amenazas documentado, una batería de al menos 15 ataques ejecutable como eval, y una capa de defensa con política de permisos, confirmación de acciones sensibles, filtrado de enlaces en la salida y ejecución de código en un contenedor aislado. El criterio de éxito es concreto: ningún ataque de la batería consigue una acción prohibida.