Aller au contenu

Lab 013 : Backends LLM Gratuits — Foundry Local et Ollama

Niveau : L100 Parcours : Fondamentaux des LLM Durée : ~45 min 💰 Coût : Gratuit — exécution locale, sans compte ni carte bancaire

Pourquoi ce lab a changé

L'inférence GitHub Models a été retirée le 30 juillet 2026. Ce lab fournit maintenant le backend gratuit commun au hub : Foundry Local sur les appareils Windows compatibles ou Ollama sur Windows, macOS et Linux.

Ce Que Vous Allez Apprendre

  • Choisir entre Foundry Local et Ollama
  • Démarrer un endpoint local compatible OpenAI
  • Appeler un modèle de chat local avec Python
  • Configurer les variables d'environnement utilisées par les autres labs
  • Vérifier que les prompts et les données restent sur votre machine

Choisissez un Runtime

Recommandé pour les appareils Windows compatibles et l'accélération DirectML.

winget install Microsoft.FoundryLocal
foundry model run phi-4-mini
$env:LOCAL_LLM_BASE_URL = "http://localhost:5273/v1"
$env:LOCAL_LLM_MODEL = "phi-4-mini"

Option multiplateforme pour Windows, macOS et Linux.

  1. Installez Ollama.
  2. Démarrez un petit modèle :
ollama run phi4-mini

Configurez l'endpoint :

$env:LOCAL_LLM_BASE_URL = "http://localhost:11434/v1"
$env:LOCAL_LLM_MODEL = "phi4-mini"

export LOCAL_LLM_BASE_URL="http://localhost:11434/v1"
export LOCAL_LLM_MODEL="phi4-mini"

Fichiers d'Accompagnement

Fichier Description Téléchargement
requirements.txt Dépendance Python Télécharger
starter.py Exercices avec backend local Télécharger

Exercice 1 — Vérifiez l'Endpoint

pip install -r requirements.txt
python starter.py

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ["LOCAL_LLM_BASE_URL"],
    api_key="local",
)

response = client.chat.completions.create(
    model=os.environ["LOCAL_LLM_MODEL"],
    messages=[{"role": "user", "content": "Expliquez MCP en deux phrases."}],
)
print(response.choices[0].message.content)

Exercice 2 — Confirmez le Traitement Local

  1. Déconnectez Internet après le téléchargement du modèle.
  2. Exécutez de nouveau python starter.py.
  3. Confirmez que la réponse fonctionne toujours.
  4. Arrêtez le runtime et vérifiez que le script affiche une erreur de connexion au lieu de basculer silencieusement vers un service cloud.

Configuration Commune

Variable Exemple Objectif
LOCAL_LLM_BASE_URL http://localhost:11434/v1 Endpoint compatible OpenAI
LOCAL_LLM_MODEL phi4-mini Modèle de chat installé
LOCAL_EMBEDDING_MODEL Spécifique au runtime Modèle d'embeddings facultatif

Les capacités varient selon le modèle

Tool calling, sorties structurées, embeddings et limites de contexte dépendent du modèle et du runtime. Chaque lab indique les capacités requises.

Vérification des Connaissances

Pourquoi utiliser des variables d'environnement ?

Elles permettent d'utiliser le même code avec Foundry Local, Ollama ou un backend payant documenté.

Le SDK OpenAI envoie-t-il la requête à OpenAI ?

Non. Le SDK n'est que le client ; base_url définit la destination.

Étapes Suivantes

Kit d'accompagnement

Le build du site génère des téléchargements PDF et ZIP stables. Le ZIP contient le guide du lab et tous les fichiers d'accompagnement déclarés.