Aller au contenu

Lab 042: RAG d'entreprise avec évaluations et Foundry

Level: L400 Parcours: llm-foundations Durée: ~180 min Coût: free-conditional

Phase 3 · local first

Le parcours obligatoire est déterministe et local. Le parcours Réel est facultatif, estimé et nettoyé.

Ce que vous apprendrez

  • Construire une base RAG d'entreprise locale
  • Mesurer récupération, ancrage, citations, latence et coût
  • Utiliser évaluation et tracing Foundry comme adaptateur Réel
  • Contrôler promotion et nettoyage

Prérequis

  • Python 3.10+ et un terminal
  • Aucun identifiant pour le parcours obligatoire
  • Lisez la spécification officielle avant un adaptateur hébergé

Modèle visuel

flowchart LR
  D[Documents] --> X[Chunk and index]
  Q[Golden queries] --> R[Retrieve]
  X --> R
  R --> A[Answer with citations]
  A --> E[Local + Foundry evals]
  E --> G{Promotion gate}

Scénario

OutdoorGear a besoin d'une implémentation révisable pour atelier, avec fixtures déterministes, frontières de confiance explicites, critères mesurables et adaptateur hébergé facultatif et réversible.

Exercice guidé

Step 1: build_baseline

  1. Exécutez la fixture déterministe de cette étape.
  2. Notez entrée, sortie, décision de politique et comportement d'échec.
  3. Modifiez un comportement borné et relancez le test local.

Evidence: Conservez la commande, le résultat et une phrase expliquant pourquoi la preuve est fiable.

Step 2: evaluate_golden_set

  1. Exécutez la fixture déterministe de cette étape.
  2. Notez entrée, sortie, décision de politique et comportement d'échec.
  3. Modifiez un comportement borné et relancez le test local.

Evidence: Conservez la commande, le résultat et une phrase expliquant pourquoi la preuve est fiable.

Step 3: connect_foundry

  1. Exécutez la fixture déterministe de cette étape.
  2. Notez entrée, sortie, décision de politique et comportement d'échec.
  3. Modifiez un comportement borné et relancez le test local.

Evidence: Conservez la commande, le résultat et une phrase expliquant pourquoi la preuve est fiable.

Step 4: gate_and_cleanup

  1. Exécutez la fixture déterministe de cette étape.
  2. Notez entrée, sortie, décision de politique et comportement d'échec.
  3. Modifiez un comportement borné et relancez le test local.

Evidence: Conservez la commande, le résultat et une phrase expliquant pourquoi la preuve est fiable.

Exécuter localement

cd docs/docs/fr/labs/lab-042
python -m unittest discover -v

Simulation / Parcours Réel

Utilisez les fixtures déterministes et le validateur local. Coût estimé : **0 USD**.

Kit d'accompagnement

Le build du site génère des téléchargements PDF et ZIP stables. La CI conserve aussi un miroir temporaire pendant 30 jours.

Quiz noté

Pourquoi garder un contrat local ?
Réponse

Il fournit une base déterministe avant la variabilité et le coût hébergés.

Quand le parcours Réel est-il terminé ?
Réponse

Après enregistrement des preuves de validation et de nettoyage.

Comment traiter la sortie des outils ?
Réponse

Comme donnée non fiable avant validation de politique et de schéma.

Critères de sortie

  • Les tests locaux passent sans identifiants.
  • Le diagramme a une explication textuelle et ne dépend pas de la couleur.
  • Le quiz noté a été revu.
  • Le parcours Réel a un plafond et un plan de nettoyage.
  • Sources et stabilité ont été vérifiées.

Sources publiques officielles