Cómo evaluar un agente de IA antes de confiarle tus clientes
Un agente que acierta el 90 % de las veces falla mucho más de lo que parece. Cómo armar evaluaciones para agentes de IA con tareas reales, qué calificar y por qué leer las transcripciones.
“Lo probamos y funciona” es la frase más peligrosa de un proyecto de agentes. Casi siempre quiere decir que alguien le escribió diez mensajes, las respuestas se veían bien y el equipo siguió adelante. Un agente no se comporta igual dos veces, y lo que importa no es si puede hacer el trabajo, sino si lo hace siempre.
Esta es la cuarta nota de la serie sobre cómo construir agentes de IA. La mayor parte sale de la guía de Anthropic sobre evaluación de agentes (Demystifying evals for AI agents, 2026), adaptada a cómo lo aplico en proyectos para empresas.
Las piezas de una evaluación
Vale la pena usar las mismas palabras:
- Tarea: un caso de prueba, con una entrada y un criterio de éxito. “El cliente quiere mover su cita del martes al jueves en la tarde.”
- Intento: una ejecución del agente sobre esa tarea. Como el agente no responde igual cada vez, cada tarea se corre varias veces.
- Transcripción: el registro completo de un intento: mensajes, llamadas a herramientas, razonamiento y resultados intermedios.
- Resultado: cómo quedó el mundo al final. No lo que el agente dijo, sino lo que pasó.
- Calificador: la lógica que revisa un aspecto del intento y le pone nota.
La diferencia entre lo que el agente dice y el resultado es la más importante. Un agente puede responder “listo, tu cita quedó para el jueves” sin haberla movido. La evaluación revisa la agenda, no el mensaje.
El 90 % que no es 90 %
Supón que tu agente resuelve bien una tarea el 90 % de las veces. Suena bien. Ahora piensa en un cliente que le escribe diez veces en el año. La probabilidad de que las diez salgan bien es 0,9 multiplicado por sí mismo diez veces: menos del 35 %.
Anthropic distingue dos métricas:
- pass@k: la probabilidad de que al menos uno de k intentos salga bien. Sirve cuando puedes reintentar y quedarte con el mejor, como al generar ideas.
- pass^k: la probabilidad de que todos los k intentos salgan bien. Es la que importa para un agente que atiende clientes, porque cada intento es una conversación real.
Fuente: Cálculo propio con un acierto del 90 % por intento, siguiendo las definiciones de Anthropic
Ver los datos
| Dato | Todos los intentos salen bien (pass^k) | Al menos uno sale bien (pass@k) |
|---|---|---|
| 1 | 90 % | 90 % |
| 2 | 81 % | 99 % |
| 3 | 72,9 % | 99,9 % |
| 4 | 65,6 % | 100 % |
| 5 | 59 % | 100 % |
| 6 | 53,1 % | 100 % |
| 7 | 47,8 % | 100 % |
| 8 | 43 % | 100 % |
| 9 | 38,7 % | 100 % |
| 10 | 34,9 % | 100 % |
Por eso cada tarea se corre varias veces. Una sola ejecución que sale bien no te dice si el agente es confiable.
Empieza con 20 a 50 tareas reales
No necesitas cientos de casos para empezar. Al principio, los cambios en el agente producen diferencias grandes, y con pocas tareas se notan. Anthropic recomienda empezar con 20 a 50, y en su sistema de investigación arrancaron con unas 20 consultas representativas (How we built our multi-agent research system).
Lo importante es de dónde salen:
- de conversaciones y casos reales de tu negocio,
- de las fallas que ya conoces o que reportaron los usuarios,
- de los casos difíciles: mensajes confusos, datos que faltan, clientes molestos, intentos de engañar al agente.
Cada vez que el agente falla en producción, esa conversación se convierte en una tarea nueva.
Califica el resultado, no el camino
Es tentador revisar que el agente haya llamado las herramientas exactas en el orden que esperabas. Pero un agente puede llegar al resultado correcto por otro camino válido, y una prueba rígida lo castiga por eso. Revisa sobre todo lo que produjo: ¿la cita existe en la agenda con la fecha correcta? ¿El reembolso se registró por el monto correcto?
Hay excepciones que sí se revisan en el camino: las reglas que nunca deben romperse. Que no haya llamado aprobar_reembolso sin confirmación, o que no haya consultado datos de otro cliente.
Tres tipos de calificador
| Calificador | Cómo funciona | Bueno para | Cuidado con |
|---|---|---|---|
| Con código | Compara datos, revisa que exista un registro, valida un formato | Resultados que se pueden verificar exacto | Es frágil con respuestas abiertas |
| Con un modelo | Otro modelo califica con una rúbrica escrita | Tono, claridad, si respondió lo que se preguntó | Hay que calibrarlo contra personas |
| Con personas | Alguien que conoce el negocio revisa una muestra | La verdad de referencia, y calibrar a los otros dos | Es lento y caro |
Usa código siempre que puedas, un modelo donde el código no alcanza, y personas para revisar que los otros dos califican bien.
Dos grupos de pruebas
- Pruebas de capacidad: lo que el agente todavía no hace bien. Deben empezar con un porcentaje bajo, porque son lo que estás mejorando.
- Pruebas de regresión: lo que el agente ya hace bien. Deben estar cerca del 100 %, y se corren con cada cambio de prompt, de herramientas o de modelo.
Cuando una tarea de capacidad se vuelve estable, pasa al grupo de regresión.
Lee las transcripciones
Ningún número reemplaza leer lo que pasó. Una tarea que falla puede ser un error real del agente o un calificador que rechazó una respuesta válida, y solo lo sabes leyendo. Como dice Anthropic, no vas a saber si tus calificadores funcionan si no lees las transcripciones y las notas de muchos intentos.
Y después del lanzamiento
Las evaluaciones no terminan cuando el agente sale en vivo. Los modelos cambian, los clientes escriben distinto y aparecen casos que nadie previó. Registra cada conversación, revisa una muestra cada semana y convierte las fallas en tareas nuevas. Así el grupo de pruebas crece con el negocio.
Si el agente va a hablar con tus clientes, estos son los demás puntos que revisar: qué exigir antes de poner un agente de IA en WhatsApp.