一、項目背景

某大型集成電路企業是一家集芯片設計、工藝研發、晶圓生產與測試、銷售服務于一體的半導體存儲器企業，為全球提供先進的存儲產品和解決方案，廣泛應用于移動通信、計算機、數據中心和消費電子領域。該企業在數據管理系統和研制管理體系的控制下，設計、工藝、制造、試驗、售后服務等環節都產生了大量的數據。在管理信息化、工程信息化的建設過程中，為減少信息孤島，數據集成與共享不可逾越，不同系統間的數據正確性、一致性變得尤為重要。

當前該企業數據資源涉及7000-8000張數據庫表，存儲于不同的關系型數據庫以及分布式數據庫中，每天的增量數據在1-2T左右，在ETL過程中需要對數據的及時性、完整性和一致性進行校驗。同時需要對互相有關聯的業務數據進行業務規則校驗，各式各樣復雜的業務規則邏輯需要依靠業務骨干的工作積累和經驗反復推敲才能落地，單靠技術部門的投入難以達到最好的效果。
綜上，該企業需要一款獨立于業務系統之外的數據質量管理平臺，一方面滿足技術部門長效的數據質量管控，另一方面能夠形成業務精英為主、技術精英為輔的業務數據梳理體系。

二、痛點難點

該集成電路企業在發展過程中積累了大量的項目、客戶、設備、產品等數據，隨著數據共享以及決策的需求，以及數據使用范圍的擴大，在使用過程中發現了大量數據問題，歸納如下：

1、需支持多樣化的數據來源

當前業務數據存儲在不同類型的數據庫中，包含Oracle/Mysql/SQLServer/Postgresql/Hive/HDFS/Hbase/Kudu/Vertica等，所選平臺需要具備多種數據源的接入機制，并能夠基于后續的業務發展，適用更多的數據來源。

2、需支持繁簡不一的規則配置

在數據質量管控過程中，需要進行各種各樣的質檢規則配置，簡單的如空值校驗、字段類型校驗、值域校驗、及時性校驗等，復雜涉及多表關聯的邏輯公式校驗、完整性校驗、一致性校驗等，所選平臺需要支持多種規則的校驗設置，同時還要便于技術能力較弱的業務精英進行操作。

3、需支持海量數據的處理應對

面對海量數據的質檢，不僅是數據量大，同時還面臨多個質檢工作的并發。一方面需要在規定時間內完成所有檢驗，另一方面給還需要及時將結果反饋給數據管理者。所選平臺需要具備大數據量的處理能力、支持多個質檢進程并發，同時還要考慮后續數據量越來越大，接入的數據源越來越多的發展趨勢，能夠支持集群中節點的靈活擴展，滿足長期的數據質檢需要。

看似表面的數據問題其實會對業務帶來嚴重的影響，數據不真實、不準確、不共享，增加企業經營風險、管理難度和復雜度，跨組織信息共享程度低、資源難于整合。如何更好地管理和控制數據，做好數據質量平臺建設，成為企業迫在眉睫的任務。

三、建設內容

本項目的建設內容就是從數據接入、轉換、應用各個階段加強數據質量的管控，為集團數倉、數據分析、數據挖掘應用提供標準、可靠的基礎數據支撐。
數據質量管理平臺主要用于解決業務系統運行、數據倉庫建設及數據治理過程中的數據質量問題。它以標準化的數據質量規范為基礎，運用數據挖掘、數據分析、工作流、評分卡、可視化等技術幫助組織建立數據質量管理體系，提升數據的完整性、規范性、及時性、一致性、邏輯性，降低數據管理成本，減少因數據不可靠導致的決策偏差和損失。
系統主要功能包括質量檢查規則管理、績效管理、工作流管理、質量分析報表查詢、質量報告等。

1、單點登錄
為滿足公司內部的通過統一身份認證平臺進行數據質量平臺的登錄，實現了與認證平臺的單點登錄集成。
2、質量問題實現短信預警
數據質量平臺支持按照配置的質檢方案自動的執行質檢，質檢結果會自動的通過郵件或者短信發送到相關責任人，提醒技術人員及時的處理質量問題。
3、支持多種大數據平臺數據源的質檢
平臺除了支持常見的關系型數據庫數據進行質檢外，還支持Hive/HDFS/Hbase/Kudu/Vertica等多種大數據庫的數據源接入，能夠滿足公司后續的業務發展，適用豐富的數據類型。

四、項目價值

該企業數據質量管理平臺的建設，滿足了公司數據質量管控的需求，實現了數據質量檢查的自動執行和問題數據短信預警，大大地提升了業務數據的質量，為公司數倉、數據分析、數據挖掘應用提供標準、可靠的基礎數據支撐。客戶對于項目整體建設成果非常滿意，通過產品的應用，使各業務條線的數據質量問題得到有效管控，簡化技術人員的數據質量問題核查的工作難度，同時極大地提升了客戶的工作效率。

1）數據質量管理平臺提供了可視化的頁面就能完成數據質量檢查工作，大大降低了數據質檢的技術門檻，不僅僅只靠公司數據部門的技術人員來提升數據質量，現在也將業務部門的人員也參與到數據質量提升工作中，形成業務精英為主、技術精英為輔的業務數據梳理體系。

2）數據質量的質檢結果實現了短信自動預警，提醒技術人員及時處理質量問題，提升了技術部門的數據質量問題管理效率。

3）隨著公司業務數據不斷增大，大數據平臺的應用不斷深入，數據質量平臺支持多種基于Hadoop的數據源的接入進行質檢，為公司業務的發展和質量管理奠定了基礎。