AgentOps em Produção
Por Wanderson Leandro de Oliveira
Construir um agente que funciona uma vez num notebook é a parte fácil. AgentOps em Produção é sobre tudo que separa uma demo de um sistema em que você pode confiar com usuários e dinheiro reais: como saber se ele é realmente bom, como testar algo que dá uma resposta diferente cada vez que você pergunta, como enxergar por dentro quando ele falha às 3 da manhã, como evitar que seja usado contra você, e como operá-lo com confiabilidade mantendo custo e raio de impacto sob controle. Este é o quarto e último curso da trilha de Engenharia de Agentes de IA, e ele assume que você já sabe construir um agente — este curso é sobre operar um. Você vai construir pipelines de avaliação com datasets golden e LLM-as-judge, escrever testes para sistemas não-determinísticos com providers falsos e injeção de caos, instrumentar agentes com logging estruturado e tracing, corrigir uma vulnerabilidade real de autorização num código no formato de produção, projetar arquitetura de deploy com CI/CD e releases canary, e aplicar padrões de confiabilidade e controle de custo usados por times que operam agentes em escala. O curso termina com um capstone que amarra tudo dos quatro cursos da trilha num único design de prontidão para produção.
Conteúdo do curso
Avaliando Agentes
- 🔒 O que medir: critérios de sucesso e datasets golden text
- 🔒 Avaliação offline e online text
- 🔒 LLM como juiz (LLM-as-a-judge) text
Testando Sistemas Agênticos
- 🔒 Estratégia de testes para sistemas não-determinísticos text
- 🔒 Mock de tools, modelos falsos e fixtures determinísticas text
- 🔒 Testes de caos e injeção de erro text
Observabilidade e Debugging
- 🔒 Logging estruturado, traces e spans text
- 🔒 Mão na massa: instrumentando um agente text
- 🔒 Depurando falhas não-determinísticas text
Protegendo Agentes em Produção
- 🔒 Threat modeling de um agente em produção text
- 🔒 Guardrails e enforcement de política fora do modelo text
- 🔒 Mão na massa: corrigindo uma dependency de autenticação ausente text
Implantando e Operando Agentes
- 🔒 Arquitetura de produção para sistemas agênticos text
- 🔒 Deploy com Docker e CI/CD text
- 🔒 AgentOps: gestão de releases e incidentes text
Confiabilidade, Custo e Governança
- 🔒 Padrões de confiabilidade: retries, circuit breakers e modos degradados text
- 🔒 Controlando custo e unit economics text
- 🔒 Capstone: entregue um agente pronto para produção text