Ir para o conteúdo

Lab 042: RAG Corporativo com Avaliações e Foundry

Level: L400 Jornada: llm-foundations Tempo: ~180 min Custo: free-conditional

Phase 3 · local first

O caminho obrigatório é determinístico e local. O caminho Real é opcional e inclui estimativa e limpeza.

O que você aprenderá

  • Construir linha de base RAG corporativa local
  • Medir recuperação, fundamentação, citação, latência e custo
  • Usar avaliação e tracing do Foundry como adaptador Real opcional
  • Controlar promoção e limpar recursos pagos

Pré-requisitos

  • Python 3.10+ e um terminal
  • Nenhuma credencial para o caminho obrigatório
  • Leia a especificação oficial vinculada antes de usar um adaptador hospedado

Modelo visual

flowchart LR
  D[Documents] --> X[Chunk and index]
  Q[Golden queries] --> R[Retrieve]
  X --> R
  R --> A[Answer with citations]
  A --> E[Local + Foundry evals]
  E --> G{Promotion gate}

Cenário

A OutdoorGear precisa de uma implementação revisável para workshop, com fixtures determinísticas, fronteiras de confiança explícitas, critérios mensuráveis e adaptador hospedado opcional e reversível.

Exercício guiado

Step 1: build_baseline

  1. Execute a fixture determinística desta etapa.
  2. Registre entrada, saída, decisão de política e comportamento de falha.
  3. Altere um comportamento limitado e execute o teste local novamente.

Evidence: Salve comando, resultado e uma frase explicando por que a evidência é confiável.

Step 2: evaluate_golden_set

  1. Execute a fixture determinística desta etapa.
  2. Registre entrada, saída, decisão de política e comportamento de falha.
  3. Altere um comportamento limitado e execute o teste local novamente.

Evidence: Salve comando, resultado e uma frase explicando por que a evidência é confiável.

Step 3: connect_foundry

  1. Execute a fixture determinística desta etapa.
  2. Registre entrada, saída, decisão de política e comportamento de falha.
  3. Altere um comportamento limitado e execute o teste local novamente.

Evidence: Salve comando, resultado e uma frase explicando por que a evidência é confiável.

Step 4: gate_and_cleanup

  1. Execute a fixture determinística desta etapa.
  2. Registre entrada, saída, decisão de política e comportamento de falha.
  3. Altere um comportamento limitado e execute o teste local novamente.

Evidence: Salve comando, resultado e uma frase explicando por que a evidência é confiável.

Execute localmente

cd docs/docs/pt/labs/lab-042
python -m unittest discover -v

Simulação / Caminho Real

Use as fixtures determinísticas e o validador local incluídos. Custo estimado: **US$0**.

Kit de apoio

O build do site gera downloads estáveis em PDF e ZIP. A CI também mantém um espelho temporário por 30 dias.

Quiz pontuado

Por que manter um contrato local?
Resposta

Ele cria uma linha de base determinística antes de adicionar variabilidade e custo hospedados.

Quando o caminho Real termina?
Resposta

Somente após registrar evidência de validação e limpeza.

Como tratar a saída de ferramentas?
Resposta

Como dado não confiável até a validação de política e esquema.

Critérios de saída

  • Testes locais passam sem credenciais.
  • O diagrama tem explicação textual e não depende de cor.
  • O quiz pontuado foi revisado.
  • O caminho Real tem teto de custo e plano de limpeza.
  • Fontes e estabilidade foram verificadas.

Fontes públicas oficiais