SAAS ETL-Plattform
Herausforderung
Eine Software-as-a-Service (SAAS) ETL-Plattform zu schaffen, damit Kunden Daten in ihr Data Warehouse oder ein anderes Daten-Repository extrahieren, transformieren und laden können. Die Datenübertragungsquellen sind verschiedene Datenbanken wie Microsoft, Oracle und andere. Die Plattform überträgt Informationen, ohne eine direkte Verbindung zwischen Datenbanken zu benötigen.
Ansatz
Der gesamte Arbeitsumfang wurde agil durchgeführt.
Bei der Entwicklung haben wir einen flexiblen Ansatz und die Möglichkeit genutzt, neue Arten von Repositories wie Datei- und Datenbankformate hinzuzufügen. Die Datenzuordnung erfordert zumindest ein gewisses technisches Verständnis nicht. Im Allgemeinen verwenden wir drei Auswahlmöglichkeiten: Manuell, halbautomatisiert, vollautomatisiert.
Hauptmerkmale
Die Plattform ermöglicht den Empfang und die Übertragung verschiedener Dateitypen wie Excel-Tabellen, JSON-Dateien, CSV-Dateien usw. Dateien und verschiedene Tabellenarten lassen sich leicht transformieren. Wir können neue Repositories und Datenbanken erstellen. Die Datenübertragung erfolgt mit einem vorkonfigurierten Zeitplan.
Die Plattform bietet die Möglichkeit, große Datenmengen zu übertragen. Einstellungen können visuell vorgenommen werden, für die Einrichtung ist kein tiefes Verständnis von Datenbanken zur Transformation erforderlich.
Ergebnis
Der Kunde erhält eine Lösung, mit der er sowohl einmalige als auch dauerhafte Exporte oder Datenübertragungen von einem Format in ein anderes durchführen kann, unabhängig vom Datenformat.
