Aller au contenu

Lab 103: Approfondissement : entraîner un mini-GPT sur CPU (facultatif)

Level: L400 Parcours: llm-foundations Durée: ~180 min Coût: free

Phase 3 · local first

Le parcours obligatoire est déterministe et local. Le parcours Réel est facultatif, estimé et nettoyé.

Ce que vous apprendrez

  • Implémenter tokenisation, embeddings, attention et perte
  • Entraîner un petit modèle CPU avec graines fixes
  • Examiner surapprentissage et échantillonnage
  • Expliquer la portée éducative

Prérequis

  • Python 3.10+ et un terminal
  • Aucun identifiant pour le parcours obligatoire
  • Lisez la spécification officielle avant un adaptateur hébergé

Modèle visuel

flowchart LR
  T[Tokens] --> E[Embeddings]
  E --> A[Causal attention]
  A --> L[Logits]
  L --> X[Cross-entropy]
  X --> U[CPU update]

Scénario

OutdoorGear a besoin d'une implémentation révisable pour atelier, avec fixtures déterministes, frontières de confiance explicites, critères mesurables et adaptateur hébergé facultatif et réversible.

Exercice guidé

Step 1: tokenize

  1. Exécutez la fixture déterministe de cette étape.
  2. Notez entrée, sortie, décision de politique et comportement d'échec.
  3. Modifiez un comportement borné et relancez le test local.

Evidence: Conservez la commande, le résultat et une phrase expliquant pourquoi la preuve est fiable.

Step 2: train

  1. Exécutez la fixture déterministe de cette étape.
  2. Notez entrée, sortie, décision de politique et comportement d'échec.
  3. Modifiez un comportement borné et relancez le test local.

Evidence: Conservez la commande, le résultat et une phrase expliquant pourquoi la preuve est fiable.

Step 3: sample

  1. Exécutez la fixture déterministe de cette étape.
  2. Notez entrée, sortie, décision de politique et comportement d'échec.
  3. Modifiez un comportement borné et relancez le test local.

Evidence: Conservez la commande, le résultat et une phrase expliquant pourquoi la preuve est fiable.

Step 4: analyze_limits

  1. Exécutez la fixture déterministe de cette étape.
  2. Notez entrée, sortie, décision de politique et comportement d'échec.
  3. Modifiez un comportement borné et relancez le test local.

Evidence: Conservez la commande, le résultat et une phrase expliquant pourquoi la preuve est fiable.

Exécuter localement

cd docs/docs/fr/labs/lab-103
python -m unittest discover -v

Simulation / Parcours Réel

Utilisez les fixtures déterministes et le validateur local. Coût estimé : **0 USD**.

Kit d'accompagnement

Le build du site génère des téléchargements PDF et ZIP stables. La CI conserve aussi un miroir temporaire pendant 30 jours.

Quiz noté

Pourquoi garder un contrat local ?
Réponse

Il fournit une base déterministe avant la variabilité et le coût hébergés.

Quand le parcours Réel est-il terminé ?
Réponse

Après enregistrement des preuves de validation et de nettoyage.

Comment traiter la sortie des outils ?
Réponse

Comme donnée non fiable avant validation de politique et de schéma.

Critères de sortie

  • Les tests locaux passent sans identifiants.
  • Le diagramme a une explication textuelle et ne dépend pas de la couleur.
  • Le quiz noté a été revu.
  • Le parcours Réel a un plafond et un plan de nettoyage.
  • Sources et stabilité ont été vérifiées.

Sources publiques officielles