Vigílalo en vivo, o se desviará en silencio
Los modelos, los datos y los prompts cambian después del lanzamiento. El monitoreo es como te enteras antes que tus usuarios.
Entrada de muestra Contenido provisional que muestra el diseño del blog. Reemplázalo antes del lanzamiento.
Una funcionalidad de IA puede pasar todos los tests el día del lanzamiento y estar peor un mes después sin que cambie una sola línea de tu código. El proveedor del modelo publica una actualización, las entradas cambian o alguien del equipo ajusta un prompt. Nada se rompe con ruido. La calidad simplemente se va deslizando.
Registra cada ejecución
No puedes monitorear lo que no guardaste. En cada ejecución, guarda la entrada, la salida, la versión del modelo y del prompt, y cuánto tardó.
await db.insert('runs', { input, output, latencyMs, model: MODEL_VERSION, prompt: PROMPT_VERSION, createdAt: new Date(),});Puntúa una muestra, cada día
Puntuar cada ejecución en producción suele ser demasiado caro. Una muestra diaria, puntuada con los mismos evals que usas antes del lanzamiento, basta para ver una tendencia.
# cada noche: puntúa la muestra de ayer contra la línea basenpm run evals -- --source production --sample 200 --compare baselineDecide qué activa la alarma
Elige un umbral antes de necesitarlo: por ejemplo, que el puntaje diario caiga claramente por debajo de la línea base dos días seguidos. Cuando se active, lo primero es volver a la última versión buena, y solo después investigar.
El monitoreo no es un dashboard que nadie abre. Es un ciclo corto: registrar, puntuar, comparar, revertir.