Ir para o conteúdo

Lab 013: Backends de LLM Gratuitos — Foundry Local e Ollama

Nível: L100 Jornada: Fundamentos de LLM Tempo: ~45 min 💰 Custo: Grátis — execução local, sem conta ou cartão

Por que este lab mudou

A inferência do GitHub Models foi descontinuada em 30 de julho de 2026. Este lab agora oferece o backend gratuito compartilhado pelo hub: Foundry Local em dispositivos Windows compatíveis ou Ollama no Windows, macOS e Linux.

O Que Você Vai Aprender

  • Escolher entre Foundry Local e Ollama
  • Iniciar um endpoint local compatível com OpenAI
  • Chamar um modelo de chat local com Python
  • Configurar as variáveis de ambiente usadas nos outros labs
  • Verificar que prompts e dados não saem da sua máquina

Escolha um Runtime

Recomendado para dispositivos Windows compatíveis e aceleração DirectML.

winget install Microsoft.FoundryLocal
foundry model run phi-4-mini
$env:LOCAL_LLM_BASE_URL = "http://localhost:5273/v1"
$env:LOCAL_LLM_MODEL = "phi-4-mini"

Opção multiplataforma para Windows, macOS e Linux.

  1. Instale o Ollama.
  2. Inicie um modelo pequeno:
ollama run phi4-mini

Configure o endpoint:

$env:LOCAL_LLM_BASE_URL = "http://localhost:11434/v1"
$env:LOCAL_LLM_MODEL = "phi4-mini"

export LOCAL_LLM_BASE_URL="http://localhost:11434/v1"
export LOCAL_LLM_MODEL="phi4-mini"

Arquivos de Apoio

Arquivo Descrição Download
requirements.txt Dependência Python Download
starter.py Exercícios com backend local Download

Exercício 1 — Verifique o Endpoint

pip install -r requirements.txt
python starter.py

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ["LOCAL_LLM_BASE_URL"],
    api_key="local",
)

response = client.chat.completions.create(
    model=os.environ["LOCAL_LLM_MODEL"],
    messages=[{"role": "user", "content": "Explique MCP em duas frases."}],
)
print(response.choices[0].message.content)

Exercício 2 — Confirme o Processamento Local

  1. Desconecte a internet depois de baixar o modelo.
  2. Execute python starter.py novamente.
  3. Confirme que a resposta continua funcionando.
  4. Pare o runtime e confirme que o script mostra erro de conexão em vez de trocar silenciosamente para um serviço de nuvem.

Configuração Compartilhada

Variável Exemplo Finalidade
LOCAL_LLM_BASE_URL http://localhost:11434/v1 Endpoint compatível com OpenAI
LOCAL_LLM_MODEL phi4-mini Modelo de chat instalado
LOCAL_EMBEDDING_MODEL Específico do runtime Modelo opcional de embeddings

As capacidades variam por modelo

Tool calling, saída estruturada, embeddings e limites de contexto dependem do modelo e do runtime. Cada lab informa as capacidades necessárias.

Verificação de Conhecimento

Por que usar variáveis de ambiente?

Elas permitem usar o mesmo código com Foundry Local, Ollama ou um backend pago documentado.

Usar o SDK OpenAI envia a requisição para a OpenAI?

Não. O SDK é apenas o cliente; base_url define o destino.

Próximos Passos

Kit de apoio

O build do site gera downloads estáveis em PDF e ZIP. O ZIP contém o guia do lab e todos os arquivos de apoio declarados para este lab.