Uso del ordenador y del navegador

El uso del ordenador permite a un modelo ver una pantalla mediante capturas y actuar con ratón y teclado. La automatización del navegador hace algo parecido sobre páginas web, a menudo leyendo la estructura de la página en lugar de píxeles. Las dos sirven para lo mismo: trabajar con aplicaciones que no tienen API o cuya API no puedes usar.

También son las herramientas más lentas, caras y arriesgadas que puedes darle a un agente. Este curso enseña a usarlas cuando toca, a hacerlas fiables y a aislarlas para que un error o una página maliciosa no tengan consecuencias.

Para quién

Para quien necesita automatizar tareas en aplicaciones heredadas, paneles internos o webs sin API, y para quien evalúa si un agente de este tipo tiene sentido en su caso. Es un curso avanzado: das por sabido el bucle agéntico y las bases de seguridad.

Requisitos

• Nivel Nivel 40 · Tu primer agente completo.
• Seguridad: prompt injection y permisos y, muy recomendable, Seguridad y prompt injection.
• Docker (o una máquina virtual) y Python 3.10+. Para el navegador, Playwright.

Temario

1. Cómo funciona el uso del ordenador. El bucle captura → acción → captura, qué hace el proveedor y qué haces tú, y un ejecutor mínimo de acciones dentro de un contenedor.
2. Navegador o API: cuándo cada uno. La escalera de opciones: API, servidor MCP, navegador por DOM y, al final, píxeles. Criterios para elegir.
3. Fiabilidad: reintentos, verificación y estados. Verificar después de cada acción, esperar a condiciones en lugar de a tiempos, reintentar con límites y detectar bucles.
4. Seguridad y aislamiento. Contenedor desechable, red restringida, cuentas de prueba, inyección a través de páginas web y confirmación humana.

Qué construyes

Un agente que completa un flujo en una aplicación web de prueba dentro de un contenedor aislado:

• con herramientas de navegador basadas en el DOM y uso del ordenador como último recurso;
• que verifica el resultado de cada acción y reintenta con límite;
• con lista de dominios permitidos, sin credenciales reales y con aprobación humana antes de cualquier acción con efectos.

La herramienta de uso del ordenador de cada proveedor tiene un tipo versionado que cambia con los modelos. En este curso no copiamos nombres de versión: consulta siempre la documentación oficial y el artículo de referencia Uso del ordenador.