Thema
DataZone
2 Beiträge zu diesem Thema
Die Pipeline-Hälfte, Teil 2 — OpenLineage, Great Expectations und der Nachweis, den eine Pipeline emittiert
Teil 1 behandelte, was eine Pipeline liest. Dieser Teil behandelt, was sie emittiert — und warum genau das die ganze Governance-Geschichte ist: OpenLineage als herstellerneutrales Lineage-Rückgrat, der AWS-native Einführungspfad über die PostLineageEvent-API von DataZone, Assertion-Ergebnisse als Data-Quality-Facet, auf dem ein Grant ausgesetzt werden kann, und das Provenance-Facet, das die Prüferfrage „welcher Code hat diese Zahl erzeugt“ beantwortet. Dazu, warum der Scheduler zentral bleibt, während Compute dezentralisiert, und der eine Sprung, den diese Architektur nicht sieht. Durchgehend echte Payloads und echte Emitter-Konfiguration.
Fabric + Mesh auf AWS — LakeFormation, DataZone und eine Governance-Ebene
Der DataEng-Grundpfeiler benannte die kompositorische Entscheidung, ließ den Code aber ungeschrieben. Hier ist er in Terraform: zentrales Governance-Konto, Producer-Konten pro Fachbereich, LF-Tag-basierte Berechtigungen, DataZone-Veröffentlichung in zwei Schichten — plus die Falle, zwei Katalog-Ebenen über denselben Daten zu betreiben, und drei DACH-Compliance-Prüfpunkte auf dem Weg.