Ir para o conteúdo

Lab 103: Mergulho Profundo: Treine um Mini-GPT na CPU (Opcional)

Level: L400 Jornada: llm-foundations Tempo: ~180 min Custo: free

Phase 3 · local first

O caminho obrigatório é determinístico e local. O caminho Real é opcional e inclui estimativa e limpeza.

O que você aprenderá

  • Implementar tokenização, embeddings, atenção e loss
  • Treinar modelo minúsculo na CPU com seeds fixas
  • Inspecionar overfitting e amostragem
  • Explicar por que é exercício educacional

Pré-requisitos

  • Python 3.10+ e um terminal
  • Nenhuma credencial para o caminho obrigatório
  • Leia a especificação oficial vinculada antes de usar um adaptador hospedado

Modelo visual

flowchart LR
  T[Tokens] --> E[Embeddings]
  E --> A[Causal attention]
  A --> L[Logits]
  L --> X[Cross-entropy]
  X --> U[CPU update]

Cenário

A OutdoorGear precisa de uma implementação revisável para workshop, com fixtures determinísticas, fronteiras de confiança explícitas, critérios mensuráveis e adaptador hospedado opcional e reversível.

Exercício guiado

Step 1: tokenize

  1. Execute a fixture determinística desta etapa.
  2. Registre entrada, saída, decisão de política e comportamento de falha.
  3. Altere um comportamento limitado e execute o teste local novamente.

Evidence: Salve comando, resultado e uma frase explicando por que a evidência é confiável.

Step 2: train

  1. Execute a fixture determinística desta etapa.
  2. Registre entrada, saída, decisão de política e comportamento de falha.
  3. Altere um comportamento limitado e execute o teste local novamente.

Evidence: Salve comando, resultado e uma frase explicando por que a evidência é confiável.

Step 3: sample

  1. Execute a fixture determinística desta etapa.
  2. Registre entrada, saída, decisão de política e comportamento de falha.
  3. Altere um comportamento limitado e execute o teste local novamente.

Evidence: Salve comando, resultado e uma frase explicando por que a evidência é confiável.

Step 4: analyze_limits

  1. Execute a fixture determinística desta etapa.
  2. Registre entrada, saída, decisão de política e comportamento de falha.
  3. Altere um comportamento limitado e execute o teste local novamente.

Evidence: Salve comando, resultado e uma frase explicando por que a evidência é confiável.

Execute localmente

cd docs/docs/pt/labs/lab-103
python -m unittest discover -v

Simulação / Caminho Real

Use as fixtures determinísticas e o validador local incluídos. Custo estimado: **US$0**.

Kit de apoio

O build do site gera downloads estáveis em PDF e ZIP. A CI também mantém um espelho temporário por 30 dias.

Quiz pontuado

Por que manter um contrato local?
Resposta

Ele cria uma linha de base determinística antes de adicionar variabilidade e custo hospedados.

Quando o caminho Real termina?
Resposta

Somente após registrar evidência de validação e limpeza.

Como tratar a saída de ferramentas?
Resposta

Como dado não confiável até a validação de política e esquema.

Critérios de saída

  • Testes locais passam sem credenciais.
  • O diagrama tem explicação textual e não depende de cor.
  • O quiz pontuado foi revisado.
  • O caminho Real tem teto de custo e plano de limpeza.
  • Fontes e estabilidade foram verificadas.

Fontes públicas oficiais