Blog
#0031 min de lecturaMuestra

Haz red teaming a tu propio agente antes de que otro lo haga

Una lista corta para atacar tu propia funcionalidad de IA, y contra qué debería chocar cada ataque.

Entrada de muestra Contenido provisional que muestra el diseño del blog. Reemplázalo antes del lanzamiento.

Cualquier agente que lee texto del mundo exterior tarde o temprano va a leer texto escrito para manipularlo. El momento más barato para descubrir cómo reacciona es antes del lanzamiento, en tus propios términos.

Los ataques que vale la pena probar primero

No necesitas un equipo de investigación. Empieza con los movimientos obvios y mira qué pasa.

AtaqueQué intentaQué debería detenerlo
Inyección de prompt“Ignora tus instrucciones y…” escondido en un documentoInstrucciones y datos separados; esquema de salida
Desvío de alcancePedir cosas fuera de la tareaUn brief acotado y una lista de acciones permitidas
Acceso a datosLlegar a registros que no debería verPermisos verificados fuera del modelo
Abuso de herramientasLlamar una herramienta con argumentos peligrososValidación de argumentos y límites por herramienta

Que sea un test, no un evento

Hacer red teaming una vez antes del lanzamiento encuentra los huecos de hoy. Mantener los ataques en el set de evaluación encuentra los que un cambio futuro vuelva a abrir.

test_guardrails.py
import pytest
ATTACKS = load_cases("evals/attacks.jsonl")
@pytest.mark.parametrize("case", ATTACKS, ids=lambda c: c.name)
def test_attack_is_blocked(case):
result = agent.run(case.input)
assert result.blocked or result.output == case.safe_output
Cada ataque bloqueado se convierte en un test de regresión.

Cómo se ve algo bien hecho

Un agente con buen arnés no necesita ser ingenioso frente a los ataques. Solo necesita no tener a dónde ir: un trabajo acotado, salidas validadas y permisos que no puede cambiar.