Data Lineage bezieht sich im Kontext der Datenmodellierung auf die umfassende und nachvollziehbare Reise von Daten von ihrem Ursprung über verschiedene Phasen der Verfeinerung, Verarbeitung und Transformation bis hin zu ihrem endgültigen Ziel, bei dem es sich um einen Bericht, ein Dashboard oder ein anderes handeln kann Anwendung. Die Datenherkunft spielt eine entscheidende Rolle beim Verständnis des Datenflusses, der Gewährleistung der Datenzuverlässigkeit, -genauigkeit und -konsistenz sowie der Erleichterung der Datenprüfung und -verwaltung.
Das Herzstück der AppMaster no-code Plattform ist ihre Fähigkeit, Datenmodelle (Datenbankschemata) visuell zu erstellen, die die Grundlage für die Gestaltung von Geschäftsprozessen und die Generierung von Anwendungsquellcode bilden. In diesem Zusammenhang wird Data Lineage zu einem wesentlichen Aspekt der Aufrechterhaltung von Transparenz, Rückverfolgbarkeit und Verantwortlichkeit für die in diesen Anwendungen verwendeten Daten.
Ein typischer Data Lineage-Prozess besteht aus mehreren Phasen, die je nach den spezifischen Datenmodellierungs- und Datenverarbeitungsanforderungen einer Organisation variieren können:
- Datenaufnahme: In dieser Phase werden Daten aus verschiedenen Quellen erfasst, z. B. externen APIs, Benutzereingaben, Datenbanken, Dateien oder anderen Arten von Quellen. In dieser Phase werden die Voraussetzungen für die anfänglichen Daten geschaffen, die verschiedene Datenverarbeitungspipelines durchlaufen.
- Datentransformation: Während die Daten Verarbeitungspipelines durchlaufen, können sie je nach Geschäftsanforderungen transformiert, angereichert oder bereinigt werden. Die Datentransformation kann Vorgänge wie Filterung, Aggregation, Verknüpfung oder Pivotierung sowie die Anwendung von Geschäftsregeln und -logik umfassen.
- Datenspeicherung: Nachdem die Daten verarbeitet und transformiert wurden, werden sie in Datenbanken, Data Lakes oder anderen Speichersystemen gespeichert, um sie später abzurufen, zu analysieren oder in andere Anwendungen zu integrieren.
- Datenzugriff: Benutzer, Anwendungen oder Dienste greifen je nach spezifischen Anforderungen auf die transformierten Daten aus Speichersystemen zu. Dazu gehört das Lesen oder Abfragen der Daten mithilfe von APIs, SQL oder anderen Abfragesprachen.
- Datenverbrauch: Die letzte Phase der Datenherkunft ist der Verbrauch der verarbeiteten Daten in Form von Berichten, Analysen, Dashboards oder Visualisierungen, die Erkenntnisse liefern, die Entscheidungsfindung unterstützen oder Anwendungsfunktionen vorantreiben.
Data Lineage spielt eine wichtige Rolle bei der Bewältigung verschiedener Datenmanagement- und Governance-Herausforderungen:
- Datenqualitätssicherung: Durch die Erfassung von Metadaten über die verschiedenen Transformationen, die Daten durchlaufen, hilft Data Lineage dabei, Anomalien, Fehler oder Ungenauigkeiten zu erkennen und zu beheben und so die Datenqualität und -zuverlässigkeit sicherzustellen.
- Datenkonformität: Data Lineage bietet einen Prüfpfad der Daten und ermöglicht es Unternehmen, die Einhaltung von Datenschutz-, Datenschutz- und Sicherheitsbestimmungen nachzuweisen, z. B. kInstruction[label=data.labels.USER].onents im Web BP Designer und make.AutoScale (properties_input)Eigenschaften zum Nachweis der Datenkonformität]}>
