Dentro del lab, donde se ponen a prueba los agentes
Un recorrido por los experimentos por los que pasa cada agente antes de salir a producción, desde la prueba de escritura hasta la guardia nocturna.
Entrada de muestra Contenido provisional que muestra el diseño del blog. Reemplázalo antes del lanzamiento.
Un agente que funciona en una demo y un agente que le puedes entregar a tus clientes son cosas distintas. La diferencia entre ellos son las pruebas, y casi todas son poco glamorosas. Este es un recorrido rápido por el lab: qué se verifica, en qué orden y por qué.
Empieza con el brief
Cada prueba califica contra algo escrito. Antes de una sola ejecución, el trabajo recibe un brief de una página: qué entra, qué sale y qué errores cuestan más. La prueba de escritura califica cada línea de la salida contra él.

Mira los datos antes de confiar en un puntaje
Un set de prueba lleno de malos ejemplos produce disparates con mucha seguridad. Por eso la segunda parada es el microscopio: tomar muestras de entradas reales, marcar las que están rotas o no son representativas, y quedarse con el resto.

Mételo en una caja
Los agentes nuevos empiezan en un sandbox sin acceso a la red, sin datos de producción y con límites estrictos en cada acción. Luego empujamos las paredes a propósito.
Deja que algo hostil lo intente
Un segundo bot hace de atacante: inyecciones de prompt, pedidos fuera de la tarea, intentos de llegar a datos que no debería ver. Los guardrails reciben esos golpes para que el agente nunca los vea.
Compara y luego elige
Cuando hay dos prompts o modelos candidatos, ambos corren el mismo set de evaluación y el marcador decide.
def compare(variants, examples, score): results = {} for name, run in variants.items(): scores = [score(ex.expected, run(ex.input)) for ex in examples] results[name] = sum(scores) / len(scores) return max(results, key=results.get), resultsSigue vigilando después del lanzamiento
Lanzar no es el fin de las pruebas. Cada ejecución en producción se registra, se puntúa sobre una muestra y se compara con una línea base. Cuando algo se desvía, suena una alarma y vuelve la última versión buena.
Ese es el lab. Nada de esto es exótico. Es la misma disciplina que los buenos equipos de software ya usan, aplicada a un componente que resulta ser probabilístico.