Daten müssen in regelmäßigen Abständen aus dem bzw. den Quellensystem(en) extrahiert und nach ihrer Transformation in das Data Warehouse eingefügt werden. Dieser Prozess wird normalerweise als Aktualisierung des Data Warehouse bezeichnet. Die effizienteste Methode besteht darin, nur diejenigen Daten zu extrahieren und transformieren, die sich seit der letzten Extraktion geändert haben.
Im Rahmen der Technik zur Erfassung von Änderungsdaten in der Infrastruktur von Cúram Business Intelligence and Analytics werden lediglich diejenigen Daten identifiziert und verarbeitet, an denen in den einzelnen Tabellen in einer Datenbank Änderungen vorgenommen wurden. Anschließend werden die geänderten Daten dem Data Warehouse zur Verfügung gestellt. Die Infrastruktur von Cúram Business Intelligence and Analytics wurde unter der Voraussetzung konzipiert, dass die Datenaktualisierung nachts stattfindet. Die Implementierung ist jedoch flexibel und ermöglicht daher die Ausführung der Aktualisierung auch in anderen Intervallen.
Im Rahmen der Erfassung von Änderungsdaten wird eine Steuertabelle verwendet, in der gespeichert wird, zu welchem Zeitpunkt zuletzt in die einzelnen Tabellen geschrieben wurde, die mit Daten aufgefüllt werden. Bei Ausführung eines ETL-Prozesses wird das Feld für den Zeitpunkt des zuletzt ausgeführten Schreibvorgangs ebenfalls aktualisiert. Bei der nächsten Ausführung des ETL-Prozesses wird zuerst aus dieser Steuertabelle gelesen und danach werden die Daten extrahiert, die nach der letzten ETL-Ausführung aktualisiert wurden.
Beachten Sie hierbei unbedingt, dass die Funktion zum Erfassen von Änderungsdaten nur dann funktioniert, wenn in den Quellentabellen, aus denen die Business Intelligence-Infrastruktur Daten extrahiert, alle Felder für den Zeitpunkt des zuletzt ausgeführten Schreibvorgangs mit entsprechenden Daten aufgefüllt sind. Wie bereits erwähnt erfolgt die Aktualisierung einer Zeile in der ETL-Steuertabelle vor und nach jeder Ausführung des ETL-Prozesses für die Tabelle, die aktualisiert wird. Dies erfolgt, indem die ETL-Prozesse eine Zuordnung vor der Transformation aufruft, um das vorherige Datum des letzten Schreibvorgangs zu lesen, und die Extraktionszeit festzulegen. Nach Ausführung des ETL-Prozesses wird eine Transformation nach der Zuordnung aufgerufen, bei der das Datum des letzten Schreibvorgangs mit dem aktuellen Datum aktualisiert wird.
Nachdem die ETL-Steuertabelle anfänglich mit Daten aufgefüllt worden ist, wird das Datum des letzten Schreibvorgangs auf ein Startdatum zurückgesetzt, um sicherzustellen, dass im Rahmen der ETL-Prozesse tatsächlich auch sämtliche Daten nach diesem Datum extrahiert werden. Es ist möglich, als Datum des letzten Schreibvorgangs für alle Tabellen in dieser Datenbank den 1. Januar 1934 zu definieren.