Blog
#0062 min de lecturaMuestra

Los evals son tests que admiten ser difusos

Los tests unitarios detectan lo que se rompe. Los evals te dicen si un cambio mejoró o empeoró las cosas, con ejemplos que se parecen a la vida real.

Entrada de muestra Contenido provisional que muestra el diseño del blog. Reemplázalo antes del lanzamiento.

Los tests responden una pregunta de sí o no: ¿esto se rompió? Para funcionalidades de IA eso es necesario, y no es suficiente. Un cambio de prompt puede pasar todos los tests y aun así empeorar un poco las respuestas en los casos que tus usuarios de verdad envían.

Los evals cubren ese vacío. Son tests que admiten que la respuesta es un puntaje, no un check.

Empieza con un set pequeño y honesto

Un set de evaluación no necesita ser grande para ser útil. Necesita ser real:

  • ejemplos sacados de entradas reales, no inventados para verse bien,
  • los casos difíciles que ya conoces,
  • cada fallo que hayas registrado desde la última ronda.

Veinte o treinta ejemplos bien elegidos te dirán más que mil generados.

Puntúa lo que le importa al brief

El brief ya ordenó los errores que importan, así que la puntuación sale de ahí. Algunas verificaciones son exactas, otras requieren criterio:

score.py
def score(expected: Contact, got: Contact | None) -> float:
if got is None:
return 0.0 # rechazada o malformada
if got.email and got.email != expected.email:
return 0.0 # inventar datos es el peor resultado
hits = [got.email == expected.email, got.phone == expected.phone]
return sum(hits) / len(hits)

Cuando una verificación no se puede escribir como código, como el tono o la fidelidad a una fuente, un LLM juez con una rúbrica precisa puede puntuarla. Revisa al juez también de vez en cuando; es un modelo como cualquier otro.

Córrelo en cada cambio

El valor de los evals viene de correrlos todo el tiempo: nuevo prompt, nuevo modelo, nuevo paso de recuperación. Guarda los puntajes junto a cada cambio, y la conversación pasa de “se siente mejor” a “pasó de 0,71 a 0,78, y estos son los tres ejemplos que empeoraron”.

Dos variantes, un set de evaluación, un marcador.

Esa es toda la idea: un set pequeño de ejemplos reales, puntuados como dice el brief, corrido en cada cambio. Aburrido a propósito, y la razón por la que la funcionalidad sigue mejorando en vez de desviarse.