無論是任何行業或者何種背景下的企業,在步入信息化數字化階段后,都會面臨數據質量問題。沒有一個組織擁有完美的業務流程、完美的技術流程或完美的數據管理實踐,所有組織都會遇到與數據質量相關的問題。相比那些不開展數據質量管理的組織,實施正式數據質量管理的組織碰到的問題會更少。如何確保自己企業的數據質量比較高,或者是逐步提高。一個很重要的保障措施就是頒布管理制度。數據質量管理制度需要包含數據質量管理辦法,數據質量管理規范,數據質量績效考核方面的內容。
數據質量管理的5個支柱
1、人
技術的效率取決于實施它的個人。我們可能在技術先進的商業社會中運作,但人類監督和流程實施尚未過時。因此,有幾個數據質量管理角色需要填補,包括:
數據質量管理項目經理:項目經理的角色應由一名高層領導擔任,該領導接受對商業智能計劃的一般監督責任。他還應監督涉及數據范圍、項目預算和計劃實施的日常活動的管理。項目經理應該領導數據質量和投資回報的愿景。
組織變革經理:他通過提供對高級數據技術解決方案的清晰和洞察力來協助組織。由于使用儀表板軟件通常會突出質量問題,因此變更經理在數據質量的可視化中起著重要作用。
業務/數據分析師:此人從組織的角度定義質量需求。然后將這些需求量化為用于獲取和交付的數據模型。這個人或一組人確保將數據質量背后的理論傳達給開發團隊。
2、數據分析
數據分析是數據質量管理生命周期中的一個基本過程。它涉及:
詳細審查數據
將數據與元數據進行比較和對比
運行統計模型
報告數據質量
此過程的目的是深入了解現有數據,并將其與質量目標進行比較。幫助企業在數據質量管理流程中建立一個起點,并為如何提高其信息質量設定標準。完整和準確數據的數據質量指標對于這一步至關重要。準確的數據是尋找不成比例的數字,完整的數據是定義數據體并確保所有數據點都是完整的。
3、定義數據質量
數據質量管理的第三個支柱是質量本身。應根據業務目標和要求創建和定義“質量規則”。這些是數據必須遵守的業務/技術規則才能被認為是可行的。
業務需求可能會在這一支柱中占據首位,因為關鍵數據元素應取決于業務。質量規則的制定對于任何數據質量管理流程的成功都至關重要,因為這些規則將檢測并防止受損數據感染整個數據集的健康狀況。
就像抗體檢測和糾正我們體內的病毒一樣,數據質量規則將糾正有價值數據之間的不一致。當與BI工具結合使用時,這些規則可以成為預測趨勢和報告分析的關鍵。
4、數據報告
數據質量管理報告是刪除和記錄所有受損數據的過程。這應該被設計為遵循數據規則執行的自然過程。一旦識別和捕獲異常,就應該將它們匯總,以便識別質量模式。
應根據特定特征(例如,按規則、按日期、按來源等)對捕獲的數據點進行建模和定義。統計完這些數據后,可以將其連接到在線報告軟件,以報告質量狀態和儀表板中存在的異常情況。如果可能,還應實施自動化和“按需”技術解決方案,以便實時顯示儀表板洞察力。
報告和監控是數據質量管理投資回報率的關鍵,因為它們可以實時查看任何時候的數據狀態。通過識別數據異常的位置,數據專家團隊可以制定補救流程的策略。
5、數據修復
數據修復是確定的兩步過程:
修復數據的最佳方法
實施變更的最佳方式
數據修復最重要的方面是執行“根本原因”檢查,以確定數據缺陷產生的原因、位置和方式。一旦實施了這項檢查,就應該開始整治計劃。
依賴于先前有缺陷的數據的數據流程可能需要重新啟動,尤其是當它們的功能面臨風險或受到缺陷數據的影響時。這些流程可能包括報告、活動或財務文件。
這也是應該再次審查數據質量規則的地方。審查過程將有助于確定規則是否需要調整或更新,并將有助于開始數據演化過程。一旦數據被認為是高質量的,關鍵的業務流程和功能就應該更高效、更準確地運行,從而獲得更高的投資回報率和更低的成本。