RAG É Recuperação, Não Memória

O erro que todo mundo comete primeiro

A primeira coisa que as pessoas dizem quando querem que uma IA responda
perguntas sobre os próprios documentos é: "Vamos treinar o modelo com os
nossos dados." Parece certo. Também é a confusão mais comum da IA aplicada.

Você quase nunca treina (ou faz fine-tuning) num modelo para ensinar fatos a
ele. Treinar ajusta bilhões de pesos internos — é lento, caro e grava o
conhecimento como uma média estatística difusa, não como texto recuperável.
Atualize um PDF e você teria que re-treinar. Pior: o modelo ainda não consegue
dizer de onde veio uma resposta, e vai inventar detalhes plausíveis sem
hesitar.

RAG — Retrieval-Augmented Generation — resolve o problema do conhecimento
sem tocar no modelo. O modelo não lembra dos seus dados. Ele os recupera,
novos, toda vez que você pergunta.

O que o RAG faz de verdade

A recuperação acontece em duas fases: uma fase offline de indexação, que
você roda uma vez (e re-roda quando o conteúdo muda), e uma fase online de
consulta, que roda a cada pergunta.