Data Lineage ในบริบทของ Data Modeling หมายถึงการเดินทางที่ครอบคลุมและตรวจสอบย้อนกลับได้ของข้อมูลตั้งแต่ต้นทางผ่านขั้นตอนต่างๆ ของการปรับแต่ง การประมวลผล และการเปลี่ยนแปลง จนถึงปลายทางสุดท้าย ซึ่งอาจเป็นรายงาน แดชบอร์ด หรือ แอปพลิเคชัน. Data Lineage มีบทบาทสำคัญในการทำความเข้าใจการไหลของข้อมูล รับประกันความน่าเชื่อถือ ความถูกต้อง และความสม่ำเสมอของข้อมูล และอำนวยความสะดวกในการตรวจสอบและการกำกับดูแลข้อมูล
หัวใจหลักของแพลตฟอร์ม no-code ของ AppMaster คือความสามารถในการสร้างแบบจำลองข้อมูล (สคีมาฐานข้อมูล) ที่เป็นภาพ ซึ่งเป็นรากฐานสำหรับการออกแบบกระบวนการทางธุรกิจและสร้างซอร์สโค้ดของแอปพลิเคชัน ในบริบทนี้ Data Lineage กลายเป็นส่วนสำคัญในการรักษาความโปร่งใส การตรวจสอบย้อนกลับ และความรับผิดชอบสำหรับข้อมูลที่ใช้ในแอปพลิเคชันเหล่านี้
กระบวนการ Data Lineage โดยทั่วไปประกอบด้วยหลายขั้นตอน ซึ่งอาจแตกต่างกันไปตามข้อกำหนดการสร้างแบบจำลองข้อมูลและการประมวลผลข้อมูลเฉพาะขององค์กร:
- การนำเข้าข้อมูล: ในขั้นตอนนี้ ข้อมูลจะได้มาจากแหล่งต่างๆ เช่น API ภายนอก อินพุตของผู้ใช้ ฐานข้อมูล ไฟล์ หรือแหล่งที่มาประเภทอื่นๆ ระยะนี้จะกำหนดระยะสำหรับข้อมูลเริ่มต้นที่จะผ่านไปป์ไลน์การประมวลผลข้อมูลต่างๆ
- การแปลงข้อมูล: ในขณะที่ข้อมูลเคลื่อนผ่านไปป์ไลน์การประมวลผล ข้อมูลนั้นอาจถูกแปลง เพิ่มคุณค่า หรือล้างข้อมูล ขึ้นอยู่กับข้อกำหนดทางธุรกิจ การแปลงข้อมูลอาจเกี่ยวข้องกับการดำเนินการ เช่น การกรอง การรวม การรวม หรือการเปลี่ยนทิศทาง รวมถึงการประยุกต์ใช้กฎและตรรกะทางธุรกิจ
- การจัดเก็บข้อมูล: หลังจากที่ข้อมูลได้รับการประมวลผลและแปลงแล้ว ข้อมูลจะถูกจัดเก็บไว้ในฐานข้อมูล Data Lake หรือระบบจัดเก็บข้อมูลอื่น ๆ เพื่อการเรียกค้น การวิเคราะห์ หรือบูรณาการกับแอปพลิเคชันอื่น ๆ ในอนาคต
- การเข้าถึงข้อมูล: ผู้ใช้ แอปพลิเคชัน หรือบริการเข้าถึงข้อมูลที่เปลี่ยนแปลงจากระบบจัดเก็บข้อมูลตามความต้องการเฉพาะ สิ่งนี้เกี่ยวข้องกับการอ่านหรือการสืบค้นข้อมูลโดยใช้ API, SQL หรือภาษาการสืบค้นอื่น ๆ
- การใช้ข้อมูล: ขั้นตอนสุดท้ายของ Data Lineage คือการใช้ข้อมูลที่ประมวลผลในรูปแบบของรายงาน การวิเคราะห์ แดชบอร์ด หรือการแสดงภาพ ซึ่งให้ข้อมูลเชิงลึก สนับสนุนการตัดสินใจ หรือขับเคลื่อนฟังก์ชันการทำงานของแอปพลิเคชัน
Data Lineage มีบทบาทสำคัญในการจัดการกับความท้าทายด้านการจัดการข้อมูลและการกำกับดูแลต่างๆ:
- การประกันคุณภาพข้อมูล: ด้วยการเก็บข้อมูลเมตาเกี่ยวกับการเปลี่ยนแปลงต่างๆ ที่เกิดขึ้น Data Lineage ช่วยระบุความผิดปกติ ข้อผิดพลาด หรือความไม่ถูกต้อง และแก้ไขได้ จึงรับประกันคุณภาพและความน่าเชื่อถือของข้อมูล
- การปฏิบัติตามข้อกำหนดของข้อมูล: Data Lineage ให้แนวทางการตรวจสอบข้อมูล ช่วยให้องค์กรสามารถแสดงให้เห็นถึงการปฏิบัติตามกฎระเบียบด้านการปกป้องข้อมูล ความเป็นส่วนตัว และความปลอดภัย เช่น kInstruction[label=data.labels.USER].onents ในตัวออกแบบ Web BP และ make.AutoScale (properties_input) คุณสมบัติเพื่อแสดงให้เห็นถึงการปฏิบัติตามข้อมูล]}>
