Dataform ist ein Open Source Framework zur Erstellung und zum Management von SQL-Workflows. Das Tool nutzt hierfür Standards aus der Software-Entwicklung wie die Git-Versionskontrolle und Tests. Seit Ende 2020 ist Dataform nativer Bestandteil von BigQuery in der Google Cloud. Zuvor konnte Dataform als Integrated Development Environment (IDE) auch in Cloud-DataWarehouse-Lösungen wie Amazon Redshift, Snowflake, Azure SQL Data Warehouse und Postgres genutzt werden.

Dataform nimmt die Rolle eines „Modeling Layers“ über dem Data Warehouse ein und orchestriert SQL-Workflows, die auf Daten aus dem Data Warehouse ausgeführt werden. Grundsätzlich ist die Nutzung von Dataform kostenlos. Lediglich die bei der Abfrage verwendeten Rechenressourcen werden berechnet. Für die Entwicklung von SQL-Transformationen in Dataform wird mit SQLX eine Erweiterung von SQL verwendet. Diese macht das Schreiben und Ausführen von SQL-Abfragen mit JavaScript möglich. Durch die Integration von JavaScript können so Variablen in SQL-Abfragen verwendet werden, um komplexe Transformationen durchzuführen und Beziehungen zwischen einzelnen Modellen herzustellen. Modelle können dabei lokal mit einem Code-Editor bearbeitet und mithilfe des Command Line Interface (CLI) oder bei Nutzung der Google Cloud direkt über die Google Cloud Console ausgeführt werden. Im Folgenden werden die grundlegenden Funktionen des Tools vorgestellt.

Ein Dataform-Projekt lässt sich mit einem Git-Repository wie bspw. GitHub oder GitLab verbinden und somit zur Versionskontrolle des erstellten Codes nutzen. Dies erlaubt es, mit mehreren Entwicklern gleichzeitig an einem einzigen Projekt zu arbeiten, ohne dass Versionen überschrieben werden. Je Branch, in der ein Entwickler tätig ist, wird eine Kopie des Projekts und des Projektverlaufs dargestellt.

Änderungen werden erst dann in der Main Branch des Repository zusammengeführt, wenn sie validiert wurden. Somit werden alle Änderungen eines Codes im Dataform-Projekt dokumentiert und sind chronologisch einsehbar.

Im Code-Editor von Dataform werden Änderungen am Code farblich hervorgehoben und als Konflikte markiert, um Abweichungen zum Code in der Main Branch aufzuzeigen. Bevor Änderungen im Code, in die Main Branch übertragen werden können, müssen sie mit einem Kommentar versehen und genehmigt werden. Mithilfe von Git können Entwickler somit sämtliche Änderungen im Projektverlauf an einem Ort einsehen. Dies gewährleistet eine effizientere Zusammenarbeit von Entwicklern und Analysten und stellt sicher, dass alle SQL-Workflows und Transformationen stets auf dem aktuellsten Stand sind.

Dataform bietet eine JavaScript-API, mit der alle Aktionen innerhalb eines Dataform-Projekts über JavaScript definiert werden können. Die Erstellung einzelner SQL-Dateien pro Aktion entfällt somit. Zu den Funktionen der JavaScript-API zählen u.a. Declarations, Assertions, Operations und Tests. Zugehörige JavaScript-Dateien müssen im Ordner includes/ angelegt werden, um wiederverwendbare Funktionen, Konstanten oder Makros zu definieren. Jede Datei im Ordner includes/ wird für die Verwendung in anderen SQL- oder JavaScript-Dateien verfügbar gemacht.

JavaScript lässt sich innerhalb einzelner SQLX-Dateien über einen JavaScript-Block js{ } initiieren, der mittels Inline-JavaScript ${ } in die SQL eingefügt werden kann, um die SQL-Abfrage dynamisch zu ändern. Zu beachten ist, dass Funktionen, Konstanten oder Makros, die innerhalb einer SQL-Datei definiert werden, nicht auf globaler Ebene im Projekt genutzt werden können. Dataform stellt zusätzlich einige Built-in-JavaScript-Funktionen und -Features zur Verfügung. Built-inFunktionen weisen besondere Funktionalitäten auf und lassen sich innerhalb einer SQLX-Datei ausführen. Zu den Built-in-Funktionen zählen:

ref()

Die ref()-Funktion dient dazu, einen Verweis auf ein Dataform-Objekt (z.B. eine Tabelle oder einen View) innerhalb eines SQL-Statements zu erstellen. Hierbei wird von Dataform auf den Tabellennamen referenziert. Im Code-Beispiel würde demnach mit ${ref(„events_*“)} auf die Daten in der Tabelle events_ referenziert werden. ref() fügt außerdem den referenzierten Datensatz zu den Abhängigkeiten (Dependencies) für die Abfrage hinzu. Mehr dazu in Kapitel 2.1.3 Dependency Management.

config {
type: „declaration“,
database: „bigquery-public-data“,
schema: „ga4_obfuscated_sample_ecommerce“,
name: „events_*“
}

resolve()

Die resolve()-Funktion arbeitet ähnlich wie die ref()-Funktion, allerdings fügt sie den Datensatz nicht zu den Abhängigkeiten (Dependencies) hinzu.

self()

Die self()-Funktion gibt den vollen Namen des verwendeten Datasets (Datenquelle, Schema und Name) zurück. Sollte die Datenquelle, das Schema oder der initiale Name des Datasets im config{} Block überschrieben worden sein, gibt die Funktion self() den vollen und korrekten Namen des Datensatzes zurück.

create or replace function ${self()}(tsource string, medium string, campaign string) as (
case
when (medium = ‚(data deleted)‘)
then ‚data_deleted‘
when (tsource = ‚direct‘ or tsource is null)
and (regexp_contains(medium, r’^(\(not set\)|\(none\))$‘) or medium is null)
then ‚direct‘
when regexp_contains(campaign, r’^(.*shop.*)$‘)
and regexp_contains(medium, r’^(.*cp.*|ppc|paid.*)$‘)
then ’shopping_paid‘

In Dataform können über den Ordner /definitions im config{} Block Abhängigkeiten (Dependencies) definiert werden, die vor der Materialisierung einer Tabelle, eines Data Quality Tests oder eines SQL-Workflows ausgeführt werden sollen. Zusätzlich nutzt Dataform u.a. die bereits erwähnte ref()-Funktion, um Abhängigkeiten zwischen den einzelnen SQL-Dateien herzustellen. Dadurch kann Dataform automatisch anhand von Join-Keys und Daten-Typen Beziehungen managen, wenn auf Quelldaten in einem Modell zugegriffen wird. In Dataform werden diese Funktionen unter anderem genutzt, um mithilfe des Compiled Graphs den Datenfluss durch das Datenmodell zu visualisieren. Bei größeren Projekten, die eine Vielzahl von Datensätzen mit komplizierten Abhängigkeiten enthalten, kann das Dependency Management helfen, den Überblick über die Gesamtstruktur des Projekts zu behalten.

Die ref()-Funktion kann auch verwendet werden, um die Ergebnisse von Datenmodellen mit den Ergebnissen der Quelldaten abzugleichen. In Dataform werden diese Bedingungen als Assertions bezeichnet. So lässt sich beispielsweise überprüfen, ob gewisse Attribute wie eine User-ID oder ein Timestamp einzigartig sind. Sobald Beziehungen zwischen einzelnen Datensätzen und SQL-Workflows hergestellt sind, werden sie im Compiled Graph visualisiert.

Der Compiled Graph visualisiert die Abhängigkeiten zwischen den verschiedenen Datenquellen, Transformationen und Tabellen innerhalb eines Datenmodells. Der Datenfluss von einer Quelle zur nächsten wird so nachvollziehbar. Durch diese Transparenz können Fehler in den Daten leichter identifiziert und korrigiert werden. Die Navigation durch das Datenmodell wird durch den Graphen erheblich vereinfacht, was die Wartung und Einhaltung von Compliance-Anforderungen erleichtert. Automatisierte Data Quality Tests (Assertions) können zur Überwachung der Datenqualität und zur Gewährleistung konsistenter und korrekter Datenmodelle beitragen.

Assertions sind Bedingungen, die bei der Ausführung von SQLTransformationen auf Zeilenebene überprüft werden, damit die Daten dem gewünschten Standard entsprechen. Sie dienen der Qualitätskontrolle von SQL-Workflows und stellen sicher, dass die Logik der Datentransformation wie erwartet funktioniert. Nach der Ausführung eines Workflows erstellt Dataform automatisch Tabellen, welche die Ergebnisse der Assertion-Abfragen enthalten. In Dataform werden Assertions in einem eigenen Verzeichnis (/definitions) gespeichert. In diesem Verzeichnis können verschiedene Arten von Assertions selbst definiert oder bereits vordefinierte Assertions wie uniqueKey(s), nonNull oder rowConditions genutzt werden. Es folgt ein praktisches Beispiel zur Veranschaulichung:

config {
type: „table“,
description: „GA4 Data Export“,
assertions: {
uniqueKey: [„event_timestamp“],
nonNull: [„user pseudo id“],
rowConditions [„ecommerce.purchase.revenue > 0“]
}
}
SELECT * from $(ref(„events_*“)}

Abbildung 6: GA4 Data Export Assertions

Im Code-Beispiel wurden vordefinierte Assertions verwendet, um die Qualität des täglichen Data Exports aus Google Analytics 4 (GA4) zu gewährleisten. Für die Property uniqueKey wurde der event_timestamp gewählt. Somit schlägt die Assertion fehl, sobald mehr als eine Zeile im Datensatz mit dem gleichen Timestamp gefunden wird. nonNull definiert ein Array von einer oder mehreren Properties, die niemals als null ausgewiesen werden dürfen. Über rowConditions lassen sich benutzerdefinierte Bedingungen definieren, anhand derer alle Zeilen im Datensatz geprüft werden. Jede Bedingung stellt ein SQL-Statement dar, von dem erwartet wird, dass es als true ausgewertet wird, wenn die Assertion erfolgreich ist. Im Beispiel werden somit nur Unique User berücksichtigt, die zu einem bestimmten Zeitpunkt Umsatz > 0 Euro generiert haben. Der Workflow der Assertions stellt sich wie folgt dar:

Die im Ordner /definitions hinterlegten Assertions werden auf dem ausgewählten Table oder View im Data Warehouse (BigQuery) ausgeführt. Dabei bietet Dataform, wie auch BigQuery, zusätzlich die Möglichkeit eines dry_run, um die Größe der Abfrage zu schätzen, ohne Rechenslots zu beanspruchen.

Die Automatisierung von Dataform Executions ist aktuell nur mit Workflows auf der Google Cloud Platform möglich. Dabei wird zunächst der aktuelle Stand des Git Repositories geladen und kompiliert. Anschließend wird das Ergebnis genutzt, um den Dataform Workflow auszuführen. Im Code des Workflows muss sowohl der Name des Dataform Workspaces als auch die Branch für die Ausführung gesetzt werden. Im folgenden WorkflowBeispiel wird der Dataform Workspace attribution_ga4 mit der Branch main ausgeführt.

Zu den Anwendungsbereichen von Incremental Tables zählt beispielsweise die Aktualisierung von Tabellen mit StreamingDaten oder Slowly Changing Dimensions (SCD), die sich regelmäßig ändern. Bei SCD wird durch einen Snapshot der Zustand einer Dimension zu einem bestimmten Zeitpunkt abgespeichert, was den Vergleich mit früheren Zuständen dieser Dimension erlaubt. Dadurch können Änderungen in den Daten im Zeitverlauf verfolgt und historische Analysen durchgeführt werden. Zum Beispiel lässt sich so die Änderung des Status eines Nutzers oder aber der sich aktualisierende Lieferstatus einer Bestellung rückblickend nachvollziehen.

Die Abbildung zeigt den grundlegenden technischen Workflow von Dataform als Bestandteil der Google Cloud. Über Data Loader wie Fivetran, Segment, Snowplow oder GCP-Services wie Dataflow und den BigQuery Data Transfer Service werden die Daten aus den relevanten Quellsystemen in BigQuery geladen. Dort werden die Daten im Rohformat des Quellsystems entgegengenommen und in Form von Tabellen oder Views abgelegt. Ab dieser Stelle fungiert Dataform als eine Art Orchestration und Modeling Layer. Die in Dataform definierten Modelle (SQLX) werden auf die abgelegten Rohdaten im Data Warehouse ausgeführt, ohne dass dabei die Transformation direkt in der Datenquelle vorgenommen wird. Anschließend werden die transformierten und getesteten Daten in einer neuen Tabelle materialisiert. Diese steht downstream für die weitere Verwendung in Marketing- und Analysetools zur Verfügung.