徘徊的愛

2022-12-16

中國東方航空股份有限公司（以下簡稱東航）是中國民航業內第一家上市公司，也是民航業首批簽約加入上海數據交易所的數商。東航于2003年開發了第一個報表系統，2017年啟動數據治理工作，得益于東航對信息化發展和數字化轉型的高度重視，2021年東航管用結合型的數據治理模式成功入選國資企業標桿模式。

1.項目背景
近幾年，東方航空已經建設了各種數據集市、數據倉庫，但隨著業務系統和數據量的增多，數據一致性問題和業務指標口徑不一致問題日益凸顯，影響了東航對海量數據的有效利用。

機場作為保障單位，對數據質量的要求非常高。首先是數據的完整性，要確保每個航班的每一個節點都能發送相應的數據。其次是數據的及時性，航班的保障時間向來爭分奪秒，必須在航班保障節點發生時能夠實時將數據發送出去。第三是數據的準確性，由于節點較多，可能因為人工采集和填報的過程中出現問題，導致數據保障節點前后發生錯誤。

2.建設內容
為加強數據管理，提升數據質量，億信華辰幫助東航建立了數據質量智能管理系統，以元數據為基礎，以基礎數據標準和質量數據標準為參考依據，通過機器學習和相似度算法相結合，實現智能且精準的落標效果，并自動轉換出完整的數據質量規則庫，遵循PDCA模型原則，檢查并整改數據質量問題，逐步提高數據質量，東航數據支撐能力和行業競爭力顯著提升。

項目亮點：
智能質量規則庫：機器學習和相似度算法相結合，建立能夠表示標注數據集的語言模型，找到匹配度最高的元數據與數據標準關系并推薦落標，提升基礎數據標準落標效率和標準覆蓋率。自動將有落標關系的數據質量標準，轉換為對應的技術質量規則，從而執行后續的質檢操作。

數據質量管控：通過業務數據質量規范形成的技術質檢規則，定期檢查業務數據的正確性，導出質量報告或質量問題跟蹤矩陣，監控錯誤數據整改過程，將質量評估、質量檢核、質量整改等工作環節進行流程整合，形成完整的數據質量管控閉環。

3.項目成果
建立完整的標準體系。共編制了1300余條基礎標準、268條指標標準、1099條質量標準。
打造數據管理者工作平臺。梳理出538個數據實體，形成企業級數據目錄，輸出208個企業級數據服務滿足數據共享需求。
實現數據探查的自動化。對入湖數據進行初步的全面的“體檢”，通過標準自動化匹配形成質檢規則。
建立完善的數據質檢機制。自動化標準質量規則+自定義質量規則，配合周期性質檢方案和完整的質檢報告，提升入湖數據可信度。

4.項目價值
（1）智能算法升級落標效率
機器學習和相似度算法結合，將現有元數據和數據標準已落標的數據進行模型訓練，并且結合所有數據標準的中英文名相似庫，實現更加精準和智能的落標效果。

（2）完整的數據質量管控流程
通過數據質量標準所形成的規則和自定義的復雜質量檢查規則，結合質量評分和質量方案預警機制，從而實現對數據的質量長期有效的實時監控，并且可結合流程進行線上、線下管理，完成問題數據整改和跟蹤。