Blog
#0021 min de lecturaMuestra

Vigílalo en vivo, o se desviará en silencio

Los modelos, los datos y los prompts cambian después del lanzamiento. El monitoreo es como te enteras antes que tus usuarios.

Entrada de muestra Contenido provisional que muestra el diseño del blog. Reemplázalo antes del lanzamiento.

Una funcionalidad de IA puede pasar todos los tests el día del lanzamiento y estar peor un mes después sin que cambie una sola línea de tu código. El proveedor del modelo publica una actualización, las entradas cambian o alguien del equipo ajusta un prompt. Nada se rompe con ruido. La calidad simplemente se va deslizando.

Registra cada ejecución

No puedes monitorear lo que no guardaste. En cada ejecución, guarda la entrada, la salida, la versión del modelo y del prompt, y cuánto tardó.

log-run.ts
await db.insert('runs', {
input,
output,
latencyMs,
model: MODEL_VERSION,
prompt: PROMPT_VERSION,
createdAt: new Date(),
});

Puntúa una muestra, cada día

Puntuar cada ejecución en producción suele ser demasiado caro. Una muestra diaria, puntuada con los mismos evals que usas antes del lanzamiento, basta para ver una tendencia.

Ventana de terminal
# cada noche: puntúa la muestra de ayer contra la línea base
npm run evals -- --source production --sample 200 --compare baseline

Decide qué activa la alarma

Elige un umbral antes de necesitarlo: por ejemplo, que el puntaje diario caiga claramente por debajo de la línea base dos días seguidos. Cuando se active, lo primero es volver a la última versión buena, y solo después investigar.

Un desvío activa la alarma en un modelo; se revierte a la línea base.

El monitoreo no es un dashboard que nadie abre. Es un ciclo corto: registrar, puntuar, comparar, revertir.