Seguridad

Un chatbot que solo genera texto puede, como mucho, decir algo inadecuado. Un agente con herramientas puede leer tu correo, cambiar tu base de datos o enviar dinero. La seguridad de un agente se decide sobre todo en qué herramientas tiene, con qué permisos y qué controles hay entre lo que el modelo pide y lo que se ejecuta. Este grupo reúne la referencia técnica.

Qué cubre

• Prompt injection. Qué es la inyección de prompt, por qué la variante indirecta (instrucciones escondidas en documentos, webs o resultados de herramientas) es la que más preocupa en agentes, y por qué no se resuelve con un buen prompt. Incluye las defensas que sí funcionan, combinadas en capas.
• Permisos y mínimo privilegio. Cómo aplicar el mínimo privilegio a un agente: herramientas acotadas, credenciales con alcance limitado, políticas en el código, sandbox y registro de auditoría.

La idea que une ambos artículos

Asume que el modelo puede acabar haciendo lo que un texto malicioso le pida. Con esa premisa, la pregunta deja de ser «¿cómo evito que lo engañen?» y pasa a ser «si lo engañan, ¿qué es lo peor que puede pasar?». Reducir esa respuesta es el trabajo de los permisos, las aprobaciones y el aislamiento.

Para seguir

La lista OWASP Top 10 for LLM Applications es una buena referencia externa de riesgos. Para un recorrido guiado, el curso Seguridad y prompt injection. Y para el control humano de acciones sensibles, Humano en el bucle.