Bei der Neuanbindung der Online Analytics Daten sprach somit vieles für eine Implementierung in der Cloud.

Besonders letzteres war ein Argument bei einem zusätzlichen jährlichen Speicherbedarf von 20 GB.
Bei Speicherung in einer Datenbank mit SSD Platten fallen hier um die 50 Cent/GB an.
In der Cloud bleibt man mit Speicher und Zugriffskosten bei um die 1 Cent/GB.

Auch die einfache Möglichkeit die Performance durch Aufstocken der Cloud Hardware zu erhöhen war ein Argument. Besonders, da die Datenbank-Lizenzen CPU abhängig sind.

Besonders für das kostengünstige Erstellen von Backups bietet sich der Cloudspeicher an.
Das Abfragen und Abspeichern der Daten ist schnell gemacht.
Komplexere Abfragen dagegen erfordern durchaus mehr Implementierungsaufwand.
Besonders auf Datentypen muss beim Einlesen und Auslesen geachtet werden. Sonst schleicht sich schnell der Fehlerteufel ein. Mit einer impliziten Konvertierung der Dataframes lässt sich dem Vorbeugen.

Die richtige Clustergröße, Spezifikation auszuwählen erfordert dagegen schon mehr Analyse/Ausprobieren. Ein zu kleiner Cluster führt zu Abbrüchen bei der parallelen Verarbeitung. Auch ist es wichtig mit einheitlichen Versionen von Scala und Python zu arbeiten. Je nach Version kann es zu unterschiedlichen Ergebnissen kommen.

Zusätzlicher Aufwand ersteht wenn die Web-Analytics Daten durch Stammdaten angereichert werden müssen bzw. die Ergebnisse der Berechnungen wieder in die Datenbank zurückgeschrieben werden.
Auch für die Orchestrierung der Im- und Export-Prozesse sowie der laufenden Cloud Berechnungen musste eine Lösung gefunden werden.

Auch das Thema Datenschutz musste beachten werden und wurde durch Verschlüsselung und weitere Anreicherungen berücksichtigt.

Abschließend lässt sich ein positives Fazit aus der Umsetzung in der Cloud ziehen, auch wenn Optimierungen immer möglich sind. Besonders mit der Anbindung mehrerer Daten in der Cloud oder dem Einsatz von effektiveren Tools für die Unterstützung bei der täglichen Arbeit ließe sich auch die Arbeitseffektivität erhöhen.

Jenny

techblog@walbusch.de

Kontakt Karriere

Haben Sie Fragen an uns zum Thema Karriere bei der Walbusch-Gruppe? Wir stehen Ihnen gerne zur Verfügung:

Katja Hackler
Senior Talent Manager

E-Mail: katja.hackler@walbusch.de
Tel.: 0212 2060 3020