Empezar aquí

#seguridad

29 páginas con esta etiqueta.

Roadmap

3

  • Condiciones de parada y presupuesto

    Pon límites de pasos, tokens, max_tokens y tiempo a tu agente, pide aprobación antes de acciones delicadas y decide qué devolver cuando se agota el presupuesto.

  • Nivel 100 · Producción

    Lleva un agente a usuarios reales con trazas, control de costes y latencia, defensas contra inyección, aprobación humana y un despliegue que aguanta fallos.

  • Seguridad: prompt injection y permisos

    Cómo llega la inyección de prompt a un agente, directa o a través de herramientas, y cómo limitar el daño con mínimo privilegio y comprobaciones en código.

Cursos

8

  • Defensas en capas

    Por qué ninguna defensa contra la inyección basta sola y cómo combinar separación de datos, seguimiento de contenido contaminado, confirmación, filtrado de salida y detección, con el OWASP Top 10 LLM como control.

  • Inyección directa e indirecta

    Qué distingue la inyección directa de la indirecta, por dónde llega cada una a un agente, cómo se exfiltran datos y cómo montar una batería de ataques reproducible.

  • Modelo de amenazas de un agente

    Cómo inventariar activos, actores, puntos de entrada y capacidades de un agente, dibujar sus fronteras de confianza y detectar la combinación que permite exfiltrar datos.

  • Permisos y sandbox

    Mínimo privilegio por herramienta y por usuario, políticas de aprobación según el riesgo, credenciales acotadas y ejecución aislada en contenedores con control de red.

  • Seguridad y aislamiento

    Cómo aislar un agente de uso del ordenador o del navegador. Contenedor desechable, red restringida, sin credenciales reales, defensa ante inyección en páginas y aprobación humana.

  • Seguridad y despliegue de servidores

    Amenazas propias de MCP, despliegue remoto con Streamable HTTP, autorización según la especificación, límites y auditoría, con una lista de comprobación antes de publicar un servidor.

  • Seguridad y prompt injection

    Monográfico avanzado para proteger agentes que leen contenido no fiable y actúan sobre sistemas reales, desde el modelo de amenazas hasta permisos, confirmación y sandbox.

  • Uso del ordenador y del navegador

    Agentes que manejan una pantalla o un navegador. Cómo funcionan, cuándo usarlos en lugar de una API, cómo hacerlos fiables y cómo aislarlos.

Docs

5

  • Humano en el bucle

    Cómo y dónde pedir aprobación humana dentro de un agente, cómo pausar el bucle sin perder el estado y cómo devolver un rechazo al modelo.

  • Permisos y mínimo privilegio

    Cómo limitar lo que puede hacer un agente con herramientas acotadas, credenciales de alcance mínimo, políticas en el código, sandbox y auditoría.

  • Prompt injection

    Qué es la inyección de prompt directa e indirecta, por qué un agente con herramientas es vulnerable y qué defensas en capas reducen el daño.

  • Seguridad

    Referencia de seguridad para agentes con herramientas, centrada en la inyección de prompt y en limitar lo que un agente puede hacer.

  • Uso del ordenador

    Referencia de la herramienta con la que el modelo ve capturas de pantalla y controla ratón y teclado, con su bucle, el entorno aislado y los riesgos.

Sistemas

1

  • Asistente sobre tu base de datos con MCP

    Arquitectura de un servidor MCP de solo lectura sobre una base de datos que permite hacer preguntas en lenguaje natural con límites de filas, tiempo y tablas visibles.

Disciplinas

2

  • Humano en el bucle

    Decidir en qué puntos de un flujo con agentes interviene una persona, para qué, con qué información delante y cómo evitar que la revisión se vuelva un trámite.

  • Seguridad de agentes

    Diseñar agentes que sigan siendo seguros aunque el modelo se equivoque o alguien intente manipularlo con instrucciones escondidas en los datos.

Recetas

2

  • Aprobación humana antes de actuar

    Intercepta las llamadas a herramientas peligrosas de tu agente, pide confirmación a una persona con los argumentos exactos y devuelve el rechazo al modelo como tool_result.

  • Servidor MCP de solo lectura

    Expón una base de datos SQLite a un agente mediante un servidor MCP en Python con MCPServer que solo puede leer, con límites de filas y de tiempo.

Glosario

6

  • Guardrails

    Controles alrededor del modelo que validan entradas, salidas y acciones para impedir comportamientos no deseados.

  • Humano en el bucle

    Diseño en el que una persona revisa o aprueba ciertas decisiones del agente antes de que tengan efecto.

  • Inyección de prompt

    Ataque en el que un texto introducido en el contexto contiene instrucciones que intentan cambiar el comportamiento del modelo.

  • Mínimo privilegio

    Principio de dar a un agente y a sus herramientas solo los permisos estrictamente necesarios para su tarea y nada más.

  • Sandbox

    Entorno aislado donde un agente ejecuta código o controla un ordenador sin poder dañar el sistema real ni acceder a secretos.

  • Uso del ordenador

    Herramienta que permite al modelo ver capturas de pantalla y manejar ratón y teclado para operar interfaces gráficas.

Radar

2