Famille de processus

Modèles d'ingénierie et de migration de données : pipelines, lignage et…

Quatre modèles pour déplacer les données entre les systèmes : développement de pipelines avec contrôles de test, de sécurité et de qualité, migration de l'évaluation au basculement, documentation du lignage et mise en œuvre en entreprise…

L'ingénierie et la migration des données couvrent le travail de déplacement des données de manière fiable, soit en continu via un pipeline qui s'exécute quotidiennement, soit une fois, lorsqu'un système est remplacé. Les quatre modèles ici sont le processus de développement du pipeline, le processus de migration depuis l'évaluation de la portée jusqu'au basculement, la documentation de lignée produite par les deux produits et la mise en œuvre dans l'entreprise dont ils élargissent l'étape de migration.

Les deux modèles principaux répondent à des questions différentes. Développement de pipelines est destiné à un flux récurrent : un propriétaire de produit de données définit les consommateurs, les objectifs de service et un contrat de données, l'ingénieur s'appuie sur cela, et le changement passe les tests, un examen de sécurité, des contrôles de qualité des données et des contrôles de santé du déploiement avant que les opérations de la plateforme ne prennent le relais de la surveillance. Migration de données est destiné à un déplacement unique : inventaire et profilage, mappage de champs approuvé par la source et les propriétaires d'entreprise, nettoyage, chargement simulé, rapprochement, validation commerciale et basculement qui réussit ses contrôles ou déclenche la restauration préparée.

Tous deux laissent une trace que documentation de la lignée formalise : quels champs sources alimentent quelle cible, par quelles transformations, sous la propriété de qui. Une migration qui a ignoré le document de mappage est celle que personne ne peut réconcilier plus tard. L'échec le plus courant du côté de la migration est de traiter la validation métier comme une formalité : les décomptes correspondent, mais les flux de travail et les rapports qui lisent les données migrées n'ont jamais été exécutés par les personnes qui les utilisent, de sorte que le défaut fait surface après le basculement lorsque la restauration n'est plus bon marché. Du côté du pipeline, il s'agit d'un contrat qui n'a jamais été écrit, donc un changement de schéma en amont brise un consommateur dont personne ne connaissait l'existence.

La migration se produit rarement d’elle-même. Dans une implémentation de logiciel d'entreprise, il s'agit d'une voie sur huit, entre la configuration et les tests du système, et la décision de réconciliation d'essai-migration est la même porte que le processus de migration autonome se développe en un graphique complet. Le programme plus large auquel appartiennent ces étapes est transformation numérique ; les règles de propriété et de qualité appliquées par les pipelines proviennent de la gouvernance des données.