Beschreibung
Die ParquetIntegrationUnit erzeugt aus dem Zielbaum eine Parquet-Datei. Verschachtelte Strukturen wie Objekte, Listen und Schlüssel/Wert-Maps bleiben dabei erhalten und werden nicht verflacht. Bei großen Datenmengen wird die Ausgabe über eine temporäre Datei geschrieben, statt vollständig im Hauptspeicher gehalten zu werden.
Voraussetzungen
In Phase 5 ist die Option Integration Unit & Nachbehandlung benutzen aktiviert.
HINWEIS:
Für die Verarbeitung von Parquet wird die DuckDB-Bibliothek benötigt. Diese muss in der Installation vorhanden sein; eine eigene Datenbankverbindung müssen Sie dafür jedoch nicht anlegen.
Parameter
Die Parameterwerte werden als Freitext eingegeben. Für alle Parameter muss ein Wert gesetzt werden.
Parameter | Erlaubte Werte | Default-Wert | Beschreibung |
|---|---|---|---|
| — | — | Knoten der Zielstruktur, ab dem die Parquet-Datei erzeugt wird. |
| snappy, gzip, lzo, brotli, zstd, lz4_raw | snappy | Komprimierungsverfahren für die erzeugte Parquet-Datei. |
| v1, v2 | v1 | Zu verwendende Parquet-Version. |
Fehlerbehandlung und Logging
Kann der Export nicht abgeschlossen werden, wird der Fehler mit einer aussagekräftigen Meldung ausgegeben und mit ausreichenden Details protokolliert. Ein stiller Fehlerzustand tritt nicht auf.
Schritte
Zielstruktur erzeugen.
Als Integration Unit ParquetIntegrationUnit auswählen und den Parameter Start at node setzen. Kompression und Parquet-Version bei Bedarf anpassen.
In einem Antwortweg „Datei“ den „Inhalt“ auf Ausgabe von IU stellen.