? ? ??本文詳細聊聊元數據應用中的血緣分析/影響分析，也就是數據的“數據族譜”在保險行業中是怎么實現價值的。

? ? ??一數據血緣的部分場景

? ? ??A、小李是運維部門的DBA， 公司營銷部門最近要做一次大型的線上線下營銷活動，公司領導非常重視。作為公司IT部門一定要做好支持及保障工作，不能關鍵時期掉鏈子。所以公司也對所有系統統一全面做檢查評估，確保萬無一失。檢查過程中發現某核心系統，晚上跑批作業一度占用資源達到80%，如果一旦活動期間系統壓力增大，存在較大風險。經排查其中有幾個存儲過程包執行時間長占用資源多。小李把情況跟領導匯報并提交系統開發部。系統開發部研究半天，發現都是好多年前寫的，是之前的一外包團隊做的，現在人員都已經聯系不上了，整個部門也都詢問一片，都說沒有用到。里面代碼小的幾百行， 多的上萬行，注釋也不全，而且是層層調用，估計等查完，活動都結束了。所以為了保障系統穩定行動，建議先停止晚上跑批。結果第二問題就出來了，這幾個存儲過程包中有一個存儲過程的計算結果被后來開發的應用使用到了，導致影響到業務的正常運行，大量客戶接收不到短信，造成生產事故。

? ? ??B、業務部門的小張發現當月的新單保費與預期的差距甚大，明明通過本次的營銷活動，公司營業額增加很多啊，為何某某地區新單保費沒有明顯增加？小張電話給到報表項目組的開發人員小黃。

? ? ??小張：你們開的的報表是不是有問題，新單保費不對啊！

? ? ??小黃：應該不會啊，這個報表都是很早開發的，最近都沒有變動過，現在也是天天正常跑批入數。

? ? ??小張：可是這個月的數據肯定是不對的，差太大了，一定是你們處理邏輯出問題或者是數據哪里少計算了，快幫看查查。

? ? ??小黃：這個報表數據從多個核心系統、中間也有各個層級計算，有ETL工具、存儲過程、SPARK、報表層邏輯，一時半會沒有辦法查完。

? ? ??小張掛了電話，只能期待自己的直覺是錯了，現在的報表數據是對的或都是差別沒有想象中的大。

? ? ??C、小陳是開發中心的一名數據開發工程師，突然收到了一個表結構變更需求，趕緊通過各個系統負責人、數據中心負責人、報表組負責人......（只要有可能會用到的下游系統及應用，不怕錯殺一千就怕放過一個），然后就是各個系統或應用的負責人開始一個個的檢查，在規定的時間修改、測試、上線。全流程都靠人工來保障，然后就是等著最源頭系統表結構變更后，各個系統應用半夜起來檢查，數據過來了，自己負責的沒有問題了,如果有問題還要通過調整來了。對于保險行業，如何理順這些龐大的數據，讓他們同血管般流轉通暢且井井有條？數據血緣分析或許是一個很好的方法。

? ? ??二血緣分析如何實現？

? ? ??數據血緣分析是元數據管理的重要應用之一，梳理系統、表、視圖、存儲過程、ETL、程序代碼、字段等之間的關系，并采用圖數據庫進行可視化展現。總之就是通過可視化展示數據是怎么來的，經過了哪些過程、階段及計算邏輯。

? ? ??從技術角度講， 數據T1 通過ETL 處理生成數據T2， 然后數據T2 與 數據T3 合并生成了 數據T4。那么數據 T1、T2、T3 就構成血緣關系，數據T1是數據T2 的上游數據，同時數據T2是數據T1 的下游數據， T3、T2 都是T4 的上游數據。從血統分析的層級粒度可以分為，實體、業務單元、組織、應用程序、系統、表級、字段級血緣。

? ? ??了解了什么是數據的血緣，下面我們將更深一步地了解該如何去梳理數據血緣。梳理數據血緣的方法主要可以歸為二種：

? ? ??（1）自動解析：通過解析數據加工流轉中的SQL語句、存儲過程、ETL過程、報表、程序代碼等，舉個簡單的例子

? ? ??數據從源頭用Kettle 把數據加載到資訊管理庫 -->企業內部通過ETL 加載到 數據倉庫ODS層 -->最終進入模型層 DW

? ? ??通過程序自動解釋各數據源的表結構信息、kettle、Informatica、存儲過程的處理邏輯，并按邏輯層次連接起來。

? ? ??（2）手工梳理：是指技術人員手工對血緣關系進行梳理，效率比較低而且難度比較高，而且一旦有變化很難得到及時修訂。

? ? ??當然，對于現在成熟的企業來說，系統就動輒幾十，上百個，靠純手工梳理如同愚公移山，不現實。

? ? ??因此血緣關系的自動解析就顯得尤為重要。現在元數據管理的工具很多，但是要做到對數據庫、存儲過程、ETL工具、代碼等自動解析并到字段級的工具很少，覽眾科技的企業數據智能圖譜是實現血緣分析的不二選擇。

? ? ??企業數據智能圖譜，提供能對幾乎所有的數據庫，大數據產品、ETL工具、復雜SQL、存儲過程、JAVA代碼、Python等很好的解析元數據，并通過圖庫技術對元數據進行自動關聯，形成數據血緣。

? ? ??元數據接口豐富，超過50+（可接的數據源多，包括本地華為星環大數據接口）；

? ? ??字段級血緣分析；

? ? ??代碼血緣分析；—不僅可以解析數據庫中的SQL，而且對從大機上的Cobol，到Java，Python都可以解析， 實現從歷史傳統編碼到最新的機器學習模型的全面元數據分析；

? ? ??實現包括存儲過程、代碼和ETL工具等的計算邏輯解析和呈現。

? ? ??三血緣分析的價值

? ? ??經過前兩章節，我們對數據血緣及如何梳理數據血緣都有一定的了解了。那在企業內部，對于企業員工（IT 和業務)又有什么實際的好處呢？

我們回到開篇的場景，有了數據血緣，小李就可以快速地了解到消耗性能大的PKG 使用了哪些系統的數據、中間的處理邏輯、目標表是哪些，這些表又被哪些系統應用使用到了，可以快速的定位到這些PKG 會唱響到什么業務，從而避免出現類似的生產事故。當然小張也可以通過血緣分析快速的查找到新單保費從源頭通過了哪些計算邏輯計算出來的，這樣快速定位問題，直接告訴報表開發組的小黃，這個數據哪里過濾條件不對，哪里計算邏輯有誤，讓報表開發組盡快調整過來。

? ? ??業務部門小張、數據開發工程師小陳也能夠快速而又準確的通過血緣分析/影響度分析找到相關的上下游及時通知相關用戶。這些場景其實分別對應了數據血緣分析中的異常定位、血緣蹤影和影響分析。當然，數據血緣的應用場景遠不止如此，在監管報送、質量檢驗、評估數據價值等方面也都有著廣泛的應用。

? ? ??隨著 DT時代的到來，企業、員工、設備源源不斷的生產數據和消費數據。面對海量的數據，企業如果管理好、使用好，讓它發揮應有的價值。元數據管理便顯得尤為重要，而數據血緣分析作為元數據應用之一，也同樣需要我們重視并利用起來。因此，對于數據的血緣關系，我們要確保每個環節都能清楚的看到邏輯，明白上下游關系，讓數據為我們更好地服務、創造價值。