Thema
Data Quality
2 Beiträge zu diesem Thema
Data Contracts — das Schema ist eine gemeinsame Schnittstelle, kein privates Detail
Die meisten Datenvorfälle, die ein Dashboard erreichen, beginnen als gewöhnliches Anwendungs-Release. Contracts, die im Build der erzeugenden Anwendung durchgesetzt werden, mit einer Consumer-Liste, die aus dem entsteht, was Pipelines ohnehin deklarieren, statt von Hand gepflegt zu werden — und lauffähiger Code für beide Hälften.
Die Pipeline-Hälfte, Teil 1 — eine Pipeline ist ein Deskriptor, kein Programm
Metadata-first wird meist als Emissions-Geschichte gelesen — Lineage- und Qualitäts-Ereignisse, die aus einer Pipeline herauskommen. Das ist die halbe Miete. Dieser Beitrag geht die andere Hälfte durch: die Schemata, Deskriptoren, Verträge, Expectation Suites und Policy-Metadaten, die eine Pipeline auf dem Weg hinein liest, und den einen generischen Executor, der sie interpretiert — statt einer DAG pro Pipeline. Echtes Deskriptor-YAML, ein vollständiger Python-Executor, die sechs Regeln für die Definition eines Deskriptor-Schemas und ehrliche Grenzen, wo die Abstraktion aufhört zu tragen.