Linhagem de Dados, no contexto de Modelagem de Dados, refere-se à jornada abrangente e rastreável dos dados desde sua origem, passando por vários estágios de refinamento, processamento e transformação, até chegar ao seu destino final, que pode ser um relatório, um painel ou um aplicativo. A Data Lineage desempenha um papel crucial na compreensão do fluxo de dados, garantindo a confiabilidade, precisão e consistência dos dados e facilitando a auditoria e governança de dados.
No centro da plataforma no-code AppMaster está sua capacidade de criar modelos de dados visualmente (esquema de banco de dados), que formam a base para projetar processos de negócios e gerar código-fonte de aplicativos. Neste contexto, o Data Lineage torna-se um aspecto essencial para manter a transparência, rastreabilidade e responsabilização dos dados utilizados nestas aplicações.
Um processo típico de linhagem de dados consiste em vários estágios, que podem variar de acordo com os requisitos específicos de modelagem e processamento de dados de uma organização:
- Ingestão de dados: Nesta fase, os dados são adquiridos de diversas fontes, como APIs externas, entradas de usuários, bancos de dados, arquivos ou qualquer outro tipo de fonte. Este estágio prepara o terreno para os dados iniciais que passarão por diferentes pipelines de processamento de dados.
- Transformação de dados: À medida que os dados passam pelos pipelines de processamento, eles podem ser transformados, enriquecidos ou limpos, dependendo dos requisitos do negócio. A transformação de dados pode envolver operações como filtragem, agregação, união ou dinamização, bem como a aplicação de regras e lógica de negócios.
- Armazenamento de dados: Depois que os dados são processados e transformados, eles são armazenados em bancos de dados, data lakes ou outros sistemas de armazenamento para recuperação, análise ou integração futura com outras aplicações.
- Acesso a dados: usuários, aplicativos ou serviços acessam os dados transformados de sistemas de armazenamento com base em requisitos específicos. Isso envolve a leitura ou consulta de dados usando APIs, SQL ou outras linguagens de consulta.
- Consumo de dados: O estágio final do Data Lineage é o consumo dos dados processados na forma de relatórios, análises, painéis ou visualizações, que fornecem insights, apoiam a tomada de decisões ou impulsionam funcionalidades do aplicativo.
O Data Lineage desempenha um papel importante na abordagem de vários desafios de gerenciamento e governança de dados:
- Garantia de qualidade de dados: Ao capturar metadados sobre as diferentes transformações pelas quais os dados passam, o Data Lineage ajuda a identificar anomalias, erros ou imprecisões e resolvê-los, garantindo assim a qualidade e confiabilidade dos dados.
- Conformidade de dados: o Data Lineage fornece uma trilha de auditoria dos dados, permitindo que as organizações demonstrem conformidade com os regulamentos de proteção de dados, privacidade e segurança, como kInstruction[label=data.labels.USER].onents no Web BP designer e make.AutoScale (properties_input)roperties para demonstrar conformidade com os dados]}>
