Data Lineage, en el contexto del modelado de datos, se refiere al viaje integral y rastreable de los datos desde su origen a través de varias etapas de refinamiento, procesamiento y transformación hasta llegar a su destino final, que podría ser un informe, un panel o un panel. solicitud. Data Lineage desempeña un papel crucial en la comprensión del flujo de datos, garantizando la confiabilidad, precisión y coherencia de los datos, y facilitando la auditoría y la gobernanza de los datos.
El núcleo de la plataforma no-code AppMaster es su capacidad para crear visualmente modelos de datos (esquema de base de datos), que forman la base para diseñar procesos comerciales y generar código fuente de aplicaciones. En este contexto, Data Lineage se convierte en un aspecto esencial para mantener la transparencia, la trazabilidad y la responsabilidad de los datos utilizados en estas aplicaciones.
Un proceso típico de Data Lineage consta de varias etapas, que pueden variar según los requisitos específicos de modelado y procesamiento de datos de una organización:
- Ingestión de datos: en esta etapa, los datos se adquieren de diversas fuentes, como API externas, entradas de usuarios, bases de datos, archivos o cualquier otro tipo de fuente. Esta etapa prepara el escenario para los datos iniciales que pasarán por diferentes canales de procesamiento de datos.
- Transformación de datos: a medida que los datos avanzan a través de los canales de procesamiento, pueden transformarse, enriquecerse o limpiarse, según los requisitos comerciales. La transformación de datos puede implicar operaciones como filtrado, agregación, unión o pivotación, así como la aplicación de reglas y lógica de negocios.
- Almacenamiento de datos: una vez que los datos se han procesado y transformado, se almacenan en bases de datos, lagos de datos u otros sistemas de almacenamiento para su futura recuperación, análisis o integración con otras aplicaciones.
- Acceso a datos: los usuarios, aplicaciones o servicios acceden a los datos transformados desde los sistemas de almacenamiento en función de requisitos específicos. Esto implica leer o consultar los datos mediante API, SQL u otros lenguajes de consulta.
- Consumo de datos: la etapa final de Data Lineage es el consumo de los datos procesados en forma de informes, análisis, paneles o visualizaciones, que brindan información, respaldan la toma de decisiones o impulsan las funcionalidades de la aplicación.
Data Lineage desempeña un papel importante a la hora de abordar diversos desafíos de gobernanza y gestión de datos:
- Aseguramiento de la calidad de los datos: al capturar metadatos sobre las diferentes transformaciones que sufren los datos, Data Lineage ayuda a identificar anomalías, errores o inexactitudes y resolverlos, garantizando así la calidad y confiabilidad de los datos.
- Cumplimiento de datos: Data Lineage proporciona un seguimiento de auditoría de los datos, lo que permite a las organizaciones demostrar el cumplimiento de las normas de protección, privacidad y seguridad de datos, como kInstruction[label=data.labels.USER].onents en Web BP Designer y make.AutoScale. (properties_input)propiedades para demostrar el cumplimiento de los datos]}>
