- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-04-08來源:拾月瀏覽數:423次
導讀:無論是任何行業或者何種背景下的企業,在步入信息化數字化階段后,都會面臨數據質量問題。沒有一個組織擁有完美的業務流程、完美的技術流程或完美的數據管理實踐,所有組織都會遇到與數據質量相關的問題。相比那些不開展數據質量管理的組織,實施正式數據質量管理的組織碰到的問題會更少。如何確保自己企業的數據質量比較高,或者是逐步提高。一個很重要的保障措施就是頒布管理制度。數據質量管理制度需要包含數據質量管理辦法,數據質量管理規范,數據質量績效考核方面的內容。
值得大家注意的是,管理制度搭建的過程中,往往很難區分規范、辦法兩者之間的關系。
辦法是指對于某一工程作業或者行為進行定性的信息規定。主要是因為無法精準定量而形成的標準。所以相對籠統。
規范是按照規范制度的要求提出具體可落地、可執行的實施措施。所以一定是很具體可量化的細則。
例如:我們在規范中可以強調數據的及時性,但是在具體的管理辦法中需要明確、量化及時性這一指標概念。如:獲取數據后X個工作日內錄入數據,發生變更時X個工作日內完成數據更新等。

細分來講,數據質量管理制度應該由以下幾個關鍵部分組成:
一、規范定義:
1、首先定義清楚什么樣的數據稱之為高質量的數據,高質量數據并不是越高越好,因為學過質量成本控制的都清楚,數據質量并不存在絕對的,而只要滿足企業業務管理需要,即可認為數據質量達標的數據。
2、明確什么樣的數據屬于數據質量管理的范疇。比如核心,重要的數據,所以識別關鍵數據重要數據,并且還要確認該類數據的生成規則和維護流程。
2、達到什么程度才算高質量。例如:確保數據的及時性,究竟怎么才算及時性,是獲取數據的時效?還是分發到下游的時效?還是接受數據的時效?
二、稽查監控措施:
1,針對我們已經識別的數據及其對應生成規則,我們需要確定稽查監控的措施。(提升數據質量的關鍵是預防,而不是事后修正)
2,對于產生問題的錯誤數據,我們如何去修復改正的相應流程。
3、數據稽查的頻率和問題反饋頻率,以及反饋渠道或稽查工具平臺需要明確清楚。
三、組織與職能:
1、重點描述組織崗位對應的職能,定義需要執行遵守的數據質量管理原則。
2、各組織對數據質量流程中的職責權利需要明確清楚,例如誰生產,誰使用,誰負責,誰改進等權責。
四、績效考核:
評價標準需要量化:一般情況下, 以單條數據為單位,通過數據質量巡檢規則,從完整性、及時性、準確性、一致性、唯一性、有效性等六個維度進行檢查,根據計算規則得出各區域的數據質量綜合得分。常見的數據質量考核計算方法如下:
1)員工數據質量綜合得分:以該員工錄入維護的相關數據質量項為范圍,以數據質量檢查項的單條數據質量規則為檢查單元,先計算正確記錄數占比作為該條數據質量規則對應的得分,再加權計算該數據項的所有數據質量規則得分作為該數據項的得分,最后取所有數據項得分的平均值作為員工的數據質量綜合得分,計算過程及計算公式如下:
數據質量規則得分=(1-數據質量規則檢查的問題數/數據質量規則檢查的總數)*100
|
數據質量規則名稱 |
問題記錄數 |
記錄總數 |
數據質量規則得分 |
|
規則 A1 |
10 |
100 |
90.00 |
|
規則 A2 |
50 |
200 |
75.00 |
|
規則 B1 |
10 |
1000 |
99.00 |
|
規則 B2 |
20 |
1000 |
98.00 |
|
規則 C1 |
10 |
1000 |
99.00 |
|
… |
… |
… |
… |
數據質量規則的得分表(示例)

備注:n 為數據項的數據質量規則總數。
|
數據項名稱 |
數據質量規則名稱 |
數據質量規則得分 |
權重 |
數據項得分 |
|
數據項 A |
規則 A1 |
90.00 |
50% |
82.50 |
|
規則 A2 |
75.00 |
50% |
||
|
數據項 B |
規則 B1 |
99.00 |
60% |
98.60 |
|
規則 B2 |
98.00 |
40% |
||
|
數據項 C |
規則 C1 |
99.00 |
100% |
99.00 |
|
… |
… |
… |
… |
… |
數據項的得分表(示例)

備注:n 為員工的數據項總數。
|
員工名稱 |
數據項名稱 |
數據項得分 |
項目得分 |
|
張三 |
數據項 A |
82.50 |
93.37 |
|
數據項 B |
98.60 |
||
|
數據項 C |
99.00 |
||
|
李四 |
數據項 A |
80.00 |
80.00 |
|
數據項 B |
70.00 |
||
|
數據項 C |
90.00 |
||
|
… |
… |
… |
… |
員工的得分表(示例)
2)團隊數據質量綜合得分:以該團隊的全體成員為范圍,統計每個團隊的數據質量綜合得分,取所有項目得分的平均值作為該團隊的綜合得分,計算公式如下:
備注:n 為數據對象總數。
|
團隊名稱 |
員工名稱 |
員工數據質量綜合得分 |
區域數據質量綜合得分 |
|
數據管理團隊 |
張三 |
93.37 |
80.84 |
|
李四 |
80.00 |
||
|
數據執行團隊 |
王五 |
99.00 |
96.20 |
|
趙六 |
90.00 |
||
|
… |
… |
… |
… |
區域的得分表(示例)
統計各團隊的綜合得分,并根據各團隊的綜合得分從高到低進行排名,由數據管理團隊負責人進行有效獎懲排名。如果對數據質量評價結果有意見,可向數據管理團隊提出。
|
團隊 |
綜合得分 |
排名 |
|
數據對象錄入方 A |
100.00 |
1 |
|
數據對象錄入方 B |
96.20 |
2 |
|
數據對象錄入方 C |
90.00 |
3 |
|
數據對象錄入方 D |
80.84 |
4 |
|
… |
… |
… |
團隊數據質量綜合評價表(示例)
五、附則-數據質量衡量維度
在DAMA體系中,數據質量維度是指數據的某個可測量的特性。國際上較為成熟的框架包括:Strong-Wang 框架、Redman的“可表示的三元組”還有Larry Englist的固有特征和實用特征。各個企業公司可以根據自身的業務場景、管控要求選擇不同的質量維度框架,本篇文章只針對DAMA UK提出的六個核心維度進行闡述解釋:
完整性:指數據在創建、傳遞過程中無缺失和遺漏。包括實體完整、屬性完整、記錄完整和字段值完整四個方面,完整性是數據質量最基礎的評判維度。
及時性:指及時記錄和傳遞相關數據,滿足業務對信息獲取的時間要求。數據交付的及時性,及時抽取、及時展現,如果數據交付時間過長,可能導致分析結論失去參考意義。
準確性:指真實、準確記錄原始數據,無虛假數據及信息。數據準確反映其所建模的“真實世界”實體。例如:員工的身份信息必須與身份證件上的信息保持一致。
一致性:指遵守統一的數據標準,記錄和傳遞數據和信息。主要體現在數據 記錄的規范和數據是否符合邏輯。例如:同一工號數據在不同系統的員工姓名不一致。
唯一性:指同一數據只能有唯一的標識符。體現在一個數據集中,沒有實體多余一次出現,并且每個唯一實體有一個鍵值且該鍵值只指向該實體。例如:員工有且僅有一個有效工號。
有效性:指數據的值、格式和展現形式符合數據定義和業務定義的要求。描述數據格式、數據類型、值域和相關業務規則的有效性。例如:員工的國籍類型必須存在于國家基礎數據中定義的允許值。
企業數據質量管理體系的搭建并非一朝一夕的事情,本文只是針對管理制度的目錄編寫進行了詳細闡述。如何針對管理制度進行組織保障、資金項目保障、人力保障等措施在后續章節會再詳細講到。
