Technischer Ablauf einer Dokumentmigration
In diesem Kapitel erfahren Sie mehr über den technischen Ablauf einer Dokumentmigration mit d.velop cloud migration. So können Sie besser nachvollziehen, in welcher Reihenfolge welche Schritte durchgeführt werden.
Nach dem Start der Migration werden folgende Schritte durchgeführt:
Der Connector fragt die Zuordnung von Quellkategorie zu Zielkategorie aus der d.velop cloud migration-App ab.
Der Connector fragt die Zuordnung von Quellbenutzern zu Zielbenutzern aus der d.velop cloud migration-App ab.
Der Connector fragt die weiteren Konfigurationen (z.B. Hashwerte ignorieren, ...) aus der d.velop cloud migration-App ab.
Die Zuordnungen und Konfigurationen werden in der Migrationsdatenbank gespeichert.
Der Connector liest den Export der Dokumente von der Festplatte ein.
Die eingelesenen Dokumente werden in Batches aufgeteilt, die nachfolgend in mehreren Schritten verarbeitet werden.
Pro Batch führt der Connector die Transformationen der Metadaten im Export anhand der Zuordnungen der Kategorien, der Zuordnungen der Benutzer und den weiteren Einstellungen der Migration im Arbeitsspeicher durch. Erweiterte Transformationen müssen explizit über die Oberfläche von d.velop cloud migration aktiviert werden und werden auch im Migrationsreport protokolliert. Mögliche Transformationen sind:
Dateigröße anhand des Exports festlegen, falls die Dateigröße leer ist.
Dateigröße korrigieren, falls die Dateigröße in den Metadaten von dem tatsächlichen Export abweicht.
Dateinameneigenschaft auf den Dateinamen der Metadatendatei festlegen, falls der Dateiname leer ist.
Die Dokumentversionsnummern in eine aufeinanderfolgende Nummerierung (z.B. 1,2,3,4 anstatt 1,3,5,6) bringen.
Pro Batch validiert der Connector die Metadaten und Dokumentdaten. Wenn invalide Daten vorliegen, kommt es zu Validierungsfehlern und die betroffenen Dokumente werden im weiteren Migrationsprozess, ohne Korrektur, nicht weiter berücksichtigt. Die Fehler werden in der Migrationsdatenbank protokolliert. Mögliche Validierungsfehler:
Die Dokumente oder die Metadaten liegen nicht im richtigen Format vor (z.B. korrupte JSON-Datei, falsche Datentypen in den Metadaten, falsches JSON-Format).
Die Dokumente und die Metadaten passen nicht zusammen (z.B. die Anzahl der exportierten Versionen und die Anzahl in den Metadaten passen nicht zusammen oder die Dateigröße in den Metadaten und die Dateigröße im Export passen nicht zusammen).
Es fehlen Pflichtfelder in den Metadaten wie z.B. Hashwerte, Dateigröße, Dateiname.
Ausnahme: Die Hashwerte jeder einzelnen Version eines Dokuments sind nicht vorhanden und es wurde explizit konfiguriert, dass fehlende Hashwerte ignoriert werden sollen. In diesem Fall kommt es nicht zu Validierungsfehlern und die Dokumente ohne Hashwerte werden trotzdem im weiteren Verlauf berücksichtigt. Dies wird im Migrationsreport aufgeführt.
Der Connector lädt die Dokumente und Metadaten in das Zielsystem je Batch über die Migration-API der d.velop cloud hoch. Die Dokumente und Metadaten werden so übermittelt, wie sie durch den Export bereitgestellt werden und anhand der Migrationskonfiguration angepasst. Für den Upload können Sie in der Oberfläche zwei Optionen aktivieren:
Der Volltextindex und die abhängigen PDF-Dateien der Dokumente können in der Cloud neu erstellt werden. Dabei werden möglicherweise im Export vorhandene Volltextindices und abhängige PDF-Dateien verworfen. Die Verwendung dieser Option ist nur empfohlen, wenn noch kein Volltext vorliegt.
Die Verknüpfungen von Dokumenten und Akten können anhand der in der Cloud definierten Strukturdefinition neu erstellt werden. Bestehende Verknüpfungen bleiben dabei erhalten. Es werden ggf. neue Akten erstellt bzw. verknüpft, sodass bestehende und neue Verknüpfungen existieren.
Standardmäßig sind diese Optionen nicht aktiviert. Wenn Sie die Optionen aktivieren, wird die Aktivierung auch im Migrationsreport protokolliert. Während des Hochladens wertet der Connector die Antwort der Migration-API (Erfolg oder Fehler) aus und speichert diese Antworten in der Migrationsdatenbank.
Mit Abschluss eines Migrationslaufs (alle Batches wurden verarbeitet) erstellt der Connector lokal den Migrationsreport als gesicherte PDF-Datei sowie weitere Anhänge (z.B. Liste der erfolgreich migrierten Dokumente, Liste der fehlerhaften Dokumente) in einer ZIP-Datei. Die Prüfsummen der Anhänge werden in einer PDF-Datei festgehalten, sodass eine Veränderung der Dateien auch im Nachhinein noch nachvollziehbar ist. Alle beschriebenen Aktivitäten werden in einer Migrationsdatenbank protokolliert. Im Exportverzeichnis wird je Dokument eine <Dateiname>.data.log-Datei erstellt, in der fortlaufend alle Aktivitäten an den Dokumenten protokolliert werden.