Blog
#0072 min de lecturaMuestra

Dentro del lab, donde se ponen a prueba los agentes

Un recorrido por los experimentos por los que pasa cada agente antes de salir a producción, desde la prueba de escritura hasta la guardia nocturna.

Entrada de muestra Contenido provisional que muestra el diseño del blog. Reemplázalo antes del lanzamiento.

Un agente que funciona en una demo y un agente que le puedes entregar a tus clientes son cosas distintas. La diferencia entre ellos son las pruebas, y casi todas son poco glamorosas. Este es un recorrido rápido por el lab: qué se verifica, en qué orden y por qué.

Empieza con el brief

Cada prueba califica contra algo escrito. Antes de una sola ejecución, el trabajo recibe un brief de una página: qué entra, qué sale y qué errores cuestan más. La prueba de escritura califica cada línea de la salida contra él.

El agente escribe en un escritorio mientras un tablero califica cada línea con un check o una equis.
La prueba de escritura: cada línea se califica contra el brief, no contra una sensación.

Mira los datos antes de confiar en un puntaje

Un set de prueba lleno de malos ejemplos produce disparates con mucha seguridad. Por eso la segunda parada es el microscopio: tomar muestras de entradas reales, marcar las que están rotas o no son representativas, y quedarse con el resto.

Una pantalla redonda con celdas en pixel art; las malas están marcadas.
El microscopio: los malos ejemplos se marcan antes de que puedan distorsionar un eval.

Mételo en una caja

Los agentes nuevos empiezan en un sandbox sin acceso a la red, sin datos de producción y con límites estrictos en cada acción. Luego empujamos las paredes a propósito.

La cámara de contención, en vivo. El agente choca con el vidrio; el vidrio aguanta.

Deja que algo hostil lo intente

Un segundo bot hace de atacante: inyecciones de prompt, pedidos fuera de la tarea, intentos de llegar a datos que no debería ver. Los guardrails reciben esos golpes para que el agente nunca los vea.

El red team: los prompts hostiles revientan contra el guardrail.

Compara y luego elige

Cuando hay dos prompts o modelos candidatos, ambos corren el mismo set de evaluación y el marcador decide.

compare.py
def compare(variants, examples, score):
results = {}
for name, run in variants.items():
scores = [score(ex.expected, run(ex.input)) for ex in examples]
results[name] = sum(scores) / len(scores)
return max(results, key=results.get), results

Sigue vigilando después del lanzamiento

Lanzar no es el fin de las pruebas. Cada ejecución en producción se registra, se puntúa sobre una muestra y se compara con una línea base. Cuando algo se desvía, suena una alarma y vuelve la última versión buena.

La guardia nocturna: un desvío en un modelo activa la alarma y luego se revierte.

Ese es el lab. Nada de esto es exótico. Es la misma disciplina que los buenos equipos de software ya usan, aplicada a un componente que resulta ser probabilístico.