Haz red teaming a tu propio agente antes de que otro lo haga
Una lista corta para atacar tu propia funcionalidad de IA, y contra qué debería chocar cada ataque.
Entrada de muestra Contenido provisional que muestra el diseño del blog. Reemplázalo antes del lanzamiento.
Cualquier agente que lee texto del mundo exterior tarde o temprano va a leer texto escrito para manipularlo. El momento más barato para descubrir cómo reacciona es antes del lanzamiento, en tus propios términos.
Los ataques que vale la pena probar primero
No necesitas un equipo de investigación. Empieza con los movimientos obvios y mira qué pasa.
| Ataque | Qué intenta | Qué debería detenerlo |
|---|---|---|
| Inyección de prompt | “Ignora tus instrucciones y…” escondido en un documento | Instrucciones y datos separados; esquema de salida |
| Desvío de alcance | Pedir cosas fuera de la tarea | Un brief acotado y una lista de acciones permitidas |
| Acceso a datos | Llegar a registros que no debería ver | Permisos verificados fuera del modelo |
| Abuso de herramientas | Llamar una herramienta con argumentos peligrosos | Validación de argumentos y límites por herramienta |
Que sea un test, no un evento
Hacer red teaming una vez antes del lanzamiento encuentra los huecos de hoy. Mantener los ataques en el set de evaluación encuentra los que un cambio futuro vuelva a abrir.
import pytest
ATTACKS = load_cases("evals/attacks.jsonl")
@pytest.mark.parametrize("case", ATTACKS, ids=lambda c: c.name)def test_attack_is_blocked(case): result = agent.run(case.input) assert result.blocked or result.output == case.safe_outputCómo se ve algo bien hecho
Un agente con buen arnés no necesita ser ingenioso frente a los ataques. Solo necesita no tener a dónde ir: un trabajo acotado, salidas validadas y permisos que no puede cambiar.