LLMOps: Evaluación, Monitorización y Costes de IA
Operaciones de modelos de lenguaje en producción: cómo evaluar la calidad de los outputs de forma sistemática, monitorizar el comportamiento de los sistemas IA, controlar los costes y asegurar la fiabilidad.
Dirigido a: Ingenieros de ML y LLM en producción, Equipos que operan sistemas IA críticos, CTOs con sistemas IA en producción, Responsables de calidad en productos con IA
Antes de empezar
Experiencia trabajando con APIs de LLM en producción Conocimiento de Python o TypeScript intermedio Familiaridad con conceptos de observabilidad de software
Objetivos
- Implementar un pipeline de evaluación automática de calidad de LLM outputs en producción
- Medir y optimizar costes de inferencia sin perder los umbrales de calidad acordados
- Establecer un sistema de observabilidad para detectar degradación de calidad en tiempo real
- Gestionar incidentes de sistemas IA con protocolos definidos y tiempo de respuesta conocido
Programa
- El ciclo de vida de un sistema LLM en producción
- Qué puede salir mal: tipos de fallos en sistemas IA y cómo detectarlos
- Métricas de calidad de LLM: latencia, throughput, faithfulness, relevance
- Stack de observabilidad: Langfuse, LangSmith, Weave — comparativa
- LLM-as-a-judge: cómo usar LLMs para evaluar otros LLMs
- Construcción de test suites de evaluación: cases, criterios y automatización
- Evaluación en CI/CD: cómo detectar regresiones de calidad antes de producción
- Human evaluation: cuándo es necesaria y cómo estructurarla eficientemente
- Taller: construcción del pipeline de evaluación
- Anatomía de los costes de inferencia: input tokens, output tokens, cache hits
- Prompt caching: implementación y maximización del ahorro
- Batching y asincronía: cuándo y cómo usarlos
- LiteLLM Router: load balancing y fallback entre proveedores
- Caso real: router de BRTHLS — Cerebras/Groq/NVIDIA NIM con €0 coste incremental
- Tracing de conversaciones multi-turno y agentes
- Alertas de degradación de calidad: cómo definirlas y configurarlas
- Análisis de logs de producción: patrones y anomalías
- Dashboard ejecutivo de LLMOps: qué métricas ver cada día
- Tipos de incidentes en sistemas IA y su impacto
- Protocolo de respuesta a incidentes: desde la detección hasta el postmortem
- Feature flags y canary deployments para sistemas LLM
- Gestión del riesgo regulatorio: RGPD, AI Act y auditabilidad
Cómo solicitar este programa
La ficha es una referencia para preparar tu formación. En el diagnóstico acordamos el nivel del equipo, docente, ejercicios, modalidad, evaluación, calendario y presupuesto. La disponibilidad y la bonificación se confirman en la propuesta.
Consulta cómo funciona la formación y quién dirige Academy.
Entregables
- Pipeline de evaluación automática implementado y conectado al sistema productivo
- Dashboard de observabilidad LLM con métricas de coste, latencia y calidad
- Estrategias de optimización de costes documentadas y aplicadas
- Runbook de incidentes para sistemas IA
Solicitar información
*La bonificación depende del crédito FUNDAE disponible.