Thema
Metadata
3 Beiträge zu diesem Thema
Der Katalog ist die API — ein Governed Mesh über MCP
Die Fabric-+-Mesh-Referenz endete mit einem Versprechen: ein über MCP bereitgestelltes Katalog-Tool, das beantwortet, welche Sensitivitätsstufe für eine Spalte mit einer EU-IBAN gilt — aus der aktiven LF-Tag-Policy statt aus einem veralteten Wiki. Das ist dieser Entwurf. Tools gegen Resources als die Entscheidung, an der alles Weitere hängt, Output-Schemas aus dem bereits veröffentlichten Descriptor-Modell, warum eine Read-only-Hülle erzwungen und nicht annotiert werden muss, und warum die Autorisierung — nicht die Tool-Liste — die Governance-Ebene ist. Geprüft gegen MCP-Revision 2026-07-28.
Die Pipeline-Hälfte, Teil 2 — OpenLineage, Great Expectations und der Nachweis, den eine Pipeline emittiert
Teil 1 behandelte, was eine Pipeline liest. Dieser Teil behandelt, was sie emittiert — und warum genau das die ganze Governance-Geschichte ist: OpenLineage als herstellerneutrales Lineage-Rückgrat, der AWS-native Einführungspfad über die PostLineageEvent-API von DataZone, Assertion-Ergebnisse als Data-Quality-Facet, auf dem ein Grant ausgesetzt werden kann, und das Provenance-Facet, das die Prüferfrage „welcher Code hat diese Zahl erzeugt“ beantwortet. Dazu, warum der Scheduler zentral bleibt, während Compute dezentralisiert, und der eine Sprung, den diese Architektur nicht sieht. Durchgehend echte Payloads und echte Emitter-Konfiguration.
Die Pipeline-Hälfte, Teil 1 — eine Pipeline ist ein Deskriptor, kein Programm
Metadata-first wird meist als Emissions-Geschichte gelesen — Lineage- und Qualitäts-Ereignisse, die aus einer Pipeline herauskommen. Das ist die halbe Miete. Dieser Beitrag geht die andere Hälfte durch: die Schemata, Deskriptoren, Verträge, Expectation Suites und Policy-Metadaten, die eine Pipeline auf dem Weg hinein liest, und den einen generischen Executor, der sie interpretiert — statt einer DAG pro Pipeline. Echtes Deskriptor-YAML, ein vollständiger Python-Executor, die sechs Regeln für die Definition eines Deskriptor-Schemas und ehrliche Grenzen, wo die Abstraktion aufhört zu tragen.