Blog
#0145 min de lectura

Cómo evaluar un agente de IA antes de confiarle tus clientes

Un agente que acierta el 90 % de las veces falla mucho más de lo que parece. Cómo armar evaluaciones para agentes de IA con tareas reales, qué calificar y por qué leer las transcripciones.

“Lo probamos y funciona” es la frase más peligrosa de un proyecto de agentes. Casi siempre quiere decir que alguien le escribió diez mensajes, las respuestas se veían bien y el equipo siguió adelante. Un agente no se comporta igual dos veces, y lo que importa no es si puede hacer el trabajo, sino si lo hace siempre.

Esta es la cuarta nota de la serie sobre cómo construir agentes de IA. La mayor parte sale de la guía de Anthropic sobre evaluación de agentes (Demystifying evals for AI agents, 2026), adaptada a cómo lo aplico en proyectos para empresas.

Las piezas de una evaluación

Vale la pena usar las mismas palabras:

  • Tarea: un caso de prueba, con una entrada y un criterio de éxito. “El cliente quiere mover su cita del martes al jueves en la tarde.”
  • Intento: una ejecución del agente sobre esa tarea. Como el agente no responde igual cada vez, cada tarea se corre varias veces.
  • Transcripción: el registro completo de un intento: mensajes, llamadas a herramientas, razonamiento y resultados intermedios.
  • Resultado: cómo quedó el mundo al final. No lo que el agente dijo, sino lo que pasó.
  • Calificador: la lógica que revisa un aspecto del intento y le pone nota.

La diferencia entre lo que el agente dice y el resultado es la más importante. Un agente puede responder “listo, tu cita quedó para el jueves” sin haberla movido. La evaluación revisa la agenda, no el mensaje.

El 90 % que no es 90 %

Supón que tu agente resuelve bien una tarea el 90 % de las veces. Suena bien. Ahora piensa en un cliente que le escribe diez veces en el año. La probabilidad de que las diez salgan bien es 0,9 multiplicado por sí mismo diez veces: menos del 35 %.

Anthropic distingue dos métricas:

  • pass@k: la probabilidad de que al menos uno de k intentos salga bien. Sirve cuando puedes reintentar y quedarte con el mejor, como al generar ideas.
  • pass^k: la probabilidad de que todos los k intentos salgan bien. Es la que importa para un agente que atiende clientes, porque cada intento es una conversación real.
Fig.Un agente que acierta el 90 % de las veces, a lo largo de varios intentos

Fuente: Cálculo propio con un acierto del 90 % por intento, siguiendo las definiciones de Anthropic

Ver los datos
DatoTodos los intentos salen bien (pass^k)Al menos uno sale bien (pass@k)
190 %90 %
281 %99 %
372,9 %99,9 %
465,6 %100 %
559 %100 %
653,1 %100 %
747,8 %100 %
843 %100 %
938,7 %100 %
1034,9 %100 %

Por eso cada tarea se corre varias veces. Una sola ejecución que sale bien no te dice si el agente es confiable.

Empieza con 20 a 50 tareas reales

No necesitas cientos de casos para empezar. Al principio, los cambios en el agente producen diferencias grandes, y con pocas tareas se notan. Anthropic recomienda empezar con 20 a 50, y en su sistema de investigación arrancaron con unas 20 consultas representativas (How we built our multi-agent research system).

Lo importante es de dónde salen:

  • de conversaciones y casos reales de tu negocio,
  • de las fallas que ya conoces o que reportaron los usuarios,
  • de los casos difíciles: mensajes confusos, datos que faltan, clientes molestos, intentos de engañar al agente.

Cada vez que el agente falla en producción, esa conversación se convierte en una tarea nueva.

Califica el resultado, no el camino

Es tentador revisar que el agente haya llamado las herramientas exactas en el orden que esperabas. Pero un agente puede llegar al resultado correcto por otro camino válido, y una prueba rígida lo castiga por eso. Revisa sobre todo lo que produjo: ¿la cita existe en la agenda con la fecha correcta? ¿El reembolso se registró por el monto correcto?

Hay excepciones que sí se revisan en el camino: las reglas que nunca deben romperse. Que no haya llamado aprobar_reembolso sin confirmación, o que no haya consultado datos de otro cliente.

Tres tipos de calificador

CalificadorCómo funcionaBueno paraCuidado con
Con códigoCompara datos, revisa que exista un registro, valida un formatoResultados que se pueden verificar exactoEs frágil con respuestas abiertas
Con un modeloOtro modelo califica con una rúbrica escritaTono, claridad, si respondió lo que se preguntóHay que calibrarlo contra personas
Con personasAlguien que conoce el negocio revisa una muestraLa verdad de referencia, y calibrar a los otros dosEs lento y caro

Usa código siempre que puedas, un modelo donde el código no alcanza, y personas para revisar que los otros dos califican bien.

Dos grupos de pruebas

  • Pruebas de capacidad: lo que el agente todavía no hace bien. Deben empezar con un porcentaje bajo, porque son lo que estás mejorando.
  • Pruebas de regresión: lo que el agente ya hace bien. Deben estar cerca del 100 %, y se corren con cada cambio de prompt, de herramientas o de modelo.

Cuando una tarea de capacidad se vuelve estable, pasa al grupo de regresión.

El banco A/B: dos versiones del agente, las mismas tareas, un marcador. Gana la que dicen los números, no la demo.

Lee las transcripciones

Ningún número reemplaza leer lo que pasó. Una tarea que falla puede ser un error real del agente o un calificador que rechazó una respuesta válida, y solo lo sabes leyendo. Como dice Anthropic, no vas a saber si tus calificadores funcionan si no lees las transcripciones y las notas de muchos intentos.

Y después del lanzamiento

Las evaluaciones no terminan cuando el agente sale en vivo. Los modelos cambian, los clientes escriben distinto y aparecen casos que nadie previó. Registra cada conversación, revisa una muestra cada semana y convierte las fallas en tareas nuevas. Así el grupo de pruebas crece con el negocio.

Si el agente va a hablar con tus clientes, estos son los demás puntos que revisar: qué exigir antes de poner un agente de IA en WhatsApp.