Repository navigation
docs(us10): finalize project documentation (README, architecture, dbt catalog) - #87
Merged
Merged
Conversation
Le README décrivait un périmètre périmé à 3 sources. Réécriture fidèle au code sur main : 7 sources (pivot D14-bis), orchestration applicative ingestion → dbt (D72/D108), stack par couche, monitoring (D105/D106). Ajoute une section déploiement basée sur terraform apply (D28) : bootstrap du state bucket (D30), image placeholder (D73), apply avec garde-fou zéro diff (D31). Renvois vers docs/setup.md (dev local) et docs/runbook.md (exploitation). Lien docs/architecture.md anticipé (créé en T10.3). Refs: T10.1, T10.2
Trois vues (acquisition, transformations dbt, infrastructure) au format Mermaid, rendu nativement par GitHub. Source reprise et dé-pédagogisée depuis la doc interne datatalent_docs, en cohérence avec le code infra/ et dbt/. Ferme le lien docs/architecture.md anticipé dans le README. Écart assumé vs la lettre de T10.3 (export PNG/SVG) : le Mermaid natif évite des binaires versionnés qui dérivent du source, et GitHub rend les diagrammes directement. Les 3 blocs ont été validés syntaxiquement via mermaid-cli (génération SVG OK). Refs: T10.3
Ajoute sur les 14 modèles (staging, intermediate, marts) un bloc config avec meta.owner (attribution réelle par contributeur), meta.update_frequency (hebdomadaire, cadence du pipeline) et des tags fonctionnels par couche. Marque tags: ['pii'] sur les 7 colonnes objectivement personnelles au sens RGPD : identifiants et noms d'entreprise Sirene (siret, siren, denomination_usuelle, enseigne) et entreprise_nom (FT, Adzuna, intermediate). Syntaxe config: (meta/tags sous config) conforme à dbt >= 1.10 (vérifié sur la doc officielle). Validé via dbt parse + dbt docs generate (catalog OK, 14 models / 9 sources / 178 tests). Complète le delta D59. Refs: T10.4, D59
Section expliquant comment générer et consulter le catalogue dbt et le lignage interactif (dbt docs generate / serve, localhost:8080). Pas de binaire versionné : le site dbt docs est régénérable depuis le repo, cohérent avec target/ gitignored. Renvoi vers docs/setup.md pour le prérequis de configuration de l'environnement dbt. Refs: T10.5
ESNAULTQ
self-requested a review
June 1, 2026 07:24
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Contexte
Finalisation de la documentation projet (US10, tâches T10.1 à T10.7) — livrable
direct de la soutenance. Le README décrivait un périmètre périmé à 3 sources
alors que le pipeline en production en compte 7 (orchestration cross-Job,
monitoring, mart unifié). Cette PR aligne toute la doc livrable sur l'état réel
du code sur
main.Travail mené en inter-bloc. La doc préparatoire interne (
datatalent_docs/)reste hors repo ; seule la synthèse livrable est versionnée ici.
Décisions techniques
main(7 sources)docs/architecture.mdmeta+tagssous blocconfig:dbt parsedbt docs serveest un serveur local ;target/est gitignored — site régénérable, pas de binaire figédatatalent_docs/demo/)Changements
README.md— réécriture complète : question centrale, récit 3→7 sources,architecture (flux + renvoi), stack par couche avec choix GCP justifiés,
structure du repo, section déploiement Terraform (bootstrap state D30,
image placeholder D73,
terraform apply, garde-fou zéro diff D31), sectioncatalogue & lignage dbt.
docs/architecture.md(nouveau) — 3 vues Mermaid : acquisition, transformationsdbt, infrastructure. Cohérentes avec
infra/etdbt/.dbt/models/**/_*__models.yml(9 fichiers, 14 modèles) — ajoutconfig.meta(
owner,update_frequency: hebdomadaire) +tagsfonctionnels par couche, ettags: ['pii']sur les 7 colonnes objectivement personnelles (identifiants/nomsd'entreprise Sirene +
entreprise_nom).Validation
Les 3 blocs Mermaid de
docs/architecture.mdont été validés syntaxiquement(génération SVG via mermaid-cli, sans erreur).
Refs
T10.1, T10.2, T10.3, T10.4, T10.5, T10.6, T10.7, D28, D59