AWS Data Lake statt Oracle-basierter Legacy-Analytik
Oracle-Abhängigkeit in der Analytik beseitigt, Abfragezeiten von Tagen auf Stunden reduziert
Tage → StundenAbfragezeiten
01Die Herausforderung
Fragmentierte Datenbanken mit MongoDB, PostgreSQL und Legacy-Systemen lieferten die Daten für Analysen, deren Ausführung Tage dauerte. Die Oracle-zentrierte Architektur schuf eine starke Anbieterabhängigkeit. Der Betreiber wollte die Quellen auf einer Plattform zusammenführen, diese Abhängigkeit beseitigen und Abfragen auf Stunden verkürzen. Dabei mussten die über Jahre aufgebauten historischen Daten vollständig erhalten bleiben.
02Der Ansatz von DNA Solutions
DNA Solutions führte die Cloud-Migration zu AWS in drei Phasen durch. Zunächst wurden Infrastruktur, Einschränkungen und Abhängigkeiten erfasst. Danach folgte die vollständige Extraktion der historischen Daten, ergänzt und validiert durch Change Data Capture (CDC). Vor der Umstellung verglichen Prüfskripte die Cloud-Plattform zeilenweise mit den ursprünglichen Datenbanken.
Die Plattform nutzt Apache-Spark-Pipelines, IAM-basierte Zugriffskontrollen und Verschlüsselung. DNA und das Kundenteam arbeiteten gemeinsam als Data-Intelligence-Team. Gezielter Wissenstransfer befähigte den Kunden, die Plattform eigenständig weiterzuführen.
03Ergebnisse
- Abfrageverarbeitung von Tagen auf Stunden verkürzt
- MongoDB-, PostgreSQL- und Legacy-Quellen in einem Data Lake zusammengeführt
- Oracle-Abhängigkeit der bisherigen Analytik beseitigt
- Kundenteam zum eigenständigen Data Engineering befähigt