Prozessfamilie
Data Engineering und Migration: Pipelines, Lineage und Cutover
Vier Vorlagen für Datenbewegung zwischen Systemen: Pipelineentwicklung mit Test-, Sicherheits- und Qualitätsgates, Migration von Bewertung bis Cutover, Lineage-Dokumentation und Unternehmensimplementierung als aufrufender Rahmen.
Data Engineering und Migration behandeln zuverlässige Datenbewegung, entweder kontinuierlich in einer täglichen Pipeline oder einmalig beim Systemwechsel. Die Familie umfasst Pipelineentwicklung, Migration von Scope bis Cutover, die Lineage beider Wege und die Unternehmensimplementierung, deren Migrationsphase sie vertieft.
Pipelineentwicklung ist für wiederkehrende Datenflüsse: Owner definieren Verbraucher, Serviceziele und Vertrag, Engineering baut, und Tests, Sicherheit, Qualität und Betriebschecks stehen vor Übergabe an Operations. Datenmigration ist der Einmalweg: Inventar, Profiling, freigegebenes Mapping, Bereinigung, Testladung, Abstimmung, Fachvalidierung und Cutover mit Rollback.
Lineage-Dokumentation hält Quellfelder, Transformationen, Ziele und Eigentümer fest. Ohne Mapping kann später niemand abstimmen. Häufige Fehler sind eine Fachvalidierung als Formalität oder ein nie dokumentierter Datenvertrag, sodass fehlerhafte Berichte erst nach Cutover oder bei Schemaänderung auffallen.
Eine Unternehmenssoftware-Implementierung enthält Migration als eine von mehreren Bahnen zwischen Konfiguration und Systemtest. Das übergeordnete Programm ist digitale Transformation; Eigentum und Qualitätsregeln stammen aus Data Governance.
Vorlagen in dieser Familie
- Flussdiagramm für den Datenpipeline-Entwicklungsprozess — Vorlage für Datenpipeline-Entwicklung mit Datenvertrag, versioniertem Build, Replay-Tests, Sicherheitsprüfung, Datenqualitätsprüfungen, Bereitstellung, Überwachung und Fehlerübergabe.
- Datenmigrationsprozess: von der Bewertung zur Umstellung — Vorlage für einen Datenmigrationsprozess mit Umfangsbewertung, Feldzuordnung, Bereinigung, Probeläufen, Abstimmung, fachlicher Validierung, Umstellungsprüfungen und kontrolliertem Rückfall.
- Flussdiagramm für die Dokumentation der Datenlineage — Vorlage zur Datenlineage-Dokumentation für die Abgrenzung einer Ausgabe, Rückverfolgung von Quellenabhängigkeiten, Abbildung von Transformationen, Validierung von Nachweisen und Pflege bei Änderungen.
- Prozess zur Implementierung von Unternehmenssoftware — Vorlage zur Implementierung von Unternehmenssoftware mit Analyse, Anforderungen, Entwurf, Konfiguration, Integration, Datenmigration, Tests, UAT, Produktivsetzung, Hypercare und Übergabe.