什么是數據質量管理
數據質量管理是一組旨在維護高質量信息的實踐。數據質量管理從數據采集和高級數據流程的實施一直到數據的有效分發。它還需要對信息進行管理監督。有效的數據質量管理被認為對于任何一致的數據分析都是必不可少的，因為數據的質量對于從信息中獲得可操作且更重要的準確見解至關重要。

您可以使用許多策略來提高數據質量。數據質量管理流程旨在成為數據開發的“瑞士軍刀”，以應對無論何時何地出現的數字時代數據的挑戰。在本文中，我們將詳細介紹數據質量管理所涉及的一切：為什么它是必要的、如何衡量數據質量、良好質量管理的支柱以及一些數據質量控制技術。

為什么需要數據質量管理
雖然數字時代成功地推動了廣泛的創新，但它也助長了所謂的數字時代的“數據危機”——低質量數據。

數據質量的定義是什么
數據質量是指對數據的評估，相對于其目的和服務于該目的的能力。數據質量由本文后面將詳細介紹的不同因素定義，例如準確性、完整性、一致性或及時性。這種質量對于滿足組織在運營、規劃和決策方面的需求是必要的。

如今，公司的大部分運營和戰略決策都嚴重依賴數據，因此質量的重要性更高。事實上，低質量數據是先進數據和技術計劃失敗的主要原因，每年給美國企業帶來的損失高達970萬美元（不包括世界上所有其他國家的企業）。更一般地說，低質量的數據會影響生產力、底線和整體投資回報率。

稍后我們將討論低質量數據的一些后果。但是，讓我們確保不要陷入“質量陷阱”，因為數據質量管理的最終目標不是創建“高質量”數據是什么的主觀概念。它的最終目標是提高那些依賴數據的業務部門的投資回報率(ROI)。

從客戶關系管理到供應鏈管理，再到企業資源規劃，有效的數據質量管理的好處可以對組織的績效產生連鎖反應。有了可用的質量數據，組織可以形成數據倉庫，以檢查趨勢和制定面向未來的戰略。在整個行業范圍內，數據質量的積極投資回報率是眾所周知的。根據埃森哲的大數據調查，92%使用大數據進行管理的高管對結果感到滿意，89%的高管認為數據“非?！被颉皹O其”重要，因為它將“像互聯網一樣徹底改變運營模式”。
大企業的領導者清楚地了解優質數據的重要性。

數據質量管理的5個支柱
既然了解了高質量數據的重要性并希望采取行動來鞏固數據基礎，那么讓我們來看看數據質量管理背后的技術以及支持它的5個支柱。

1–人
技術的效率取決于實施它的個人。我們可能在技術先進的商業社會中運作，但人類監督和流程實施尚未過時。因此，有幾個數據質量管理角色需要填補，包括：
數據質量管理項目經理：項目經理的角色應由一名高層領導擔任，該領導接受對商業智能計劃的一般監督責任。他還應監督涉及數據范圍、項目預算和計劃實施的日?；顒拥墓芾?。項目經理應該領導數據質量和投資回報的愿景。
組織變革經理：他通過提供對高級數據技術解決方案的清晰和洞察力來協助組織。由于使用儀表板軟件通常會突出質量問題，因此變更經理在數據質量的可視化中起著重要作用。
業務/數據分析師：此人從組織的角度定義質量需求。然后將這些需求量化為用于獲取和交付的數據模型。這個人或一組人確保將數據質量背后的理論傳達給開發團隊。

2–數據分析
數據分析是數據質量管理生命周期中的一個基本過程。它涉及：
詳細審查數據
將數據與元數據進行比較和對比
運行統計模型
報告數據質量
此過程的目的是深入了解現有數據，并將其與質量目標進行比較。幫助企業在數據質量管理流程中建立一個起點，并為如何提高其信息質量設定標準。完整和準確數據的數據質量指標對于這一步至關重要。準確的數據是尋找不成比例的數字，完整的數據是定義數據體并確保所有數據點都是完整的。

3–定義數據質量
數據質量管理的第三個支柱是質量本身。應根據業務目標和要求創建和定義“質量規則”。這些是數據必須遵守的業務/技術規則才能被認為是可行的。
業務需求可能會在這一支柱中占據首位，因為關鍵數據元素應取決于業務。質量規則的制定對于任何數據質量管理流程的成功都至關重要，因為這些規則將檢測并防止受損數據感染整個數據集的健康狀況。
就像抗體檢測和糾正我們體內的病毒一樣，數據質量規則將糾正有價值數據之間的不一致。當與BI工具結合使用時，這些規則可以成為預測趨勢和報告分析的關鍵。

4–數據報告
數據質量管理報告是刪除和記錄所有受損數據的過程。這應該被設計為遵循數據規則執行的自然過程。一旦識別和捕獲異常，就應該將它們匯總，以便識別質量模式。
應根據特定特征（例如，按規則、按日期、按來源等）對捕獲的數據點進行建模和定義。統計完這些數據后，可以將其連接到在線報告軟件，以報告質量狀態和儀表板中存在的異常情況。如果可能，還應實施自動化和“按需”技術解決方案，以便實時顯示儀表板洞察力。
報告和監控是數據質量管理投資回報率的關鍵，因為它們可以實時查看任何時候的數據狀態。通過識別數據異常的位置，數據專家團隊可以制定補救流程的策略。

5–數據修復
數據修復是確定的兩步過程：
修復數據的最佳方法
實施變更的最佳方式
數據修復最重要的方面是執行“根本原因”檢查，以確定數據缺陷產生的原因、位置和方式。一旦實施了這項檢查，就應該開始整治計劃。
依賴于先前有缺陷的數據的數據流程可能需要重新啟動，尤其是當它們的功能面臨風險或受到缺陷數據的影響時。這些流程可能包括報告、活動或財務文件。
這也是應該再次審查數據質量規則的地方。審查過程將有助于確定規則是否需要調整或更新，并將有助于開始數據演化過程。一旦數據被認為是高質量的，關鍵的業務流程和功能就應該更高效、更準確地運行，從而獲得更高的投資回報率和更低的成本。

如何衡量數據質量
要衡量數據質量，顯然需要數據質量指標。它們也是評估為提高信息質量所做的努力的關鍵。在各種質量管理技術中，數據質量指標必須是一流的并且定義明確。這些指標包含質量的不同方面，可以用首字母縮略詞“ACCIT”來概括，代表準確性、一致性、完整性、可靠性和及時性。
雖然數據分析可能相當復雜，但所有關鍵的數據質量管理利益相關者都應該了解一些基本測量。數據質量指標對于為未來的分析提供最好和最堅實的基礎至關重要。這些指標還將幫助跟蹤質量改進工作的有效性，這當然是確保走上正確軌道所必需的。讓我們回顧一下這五類指標并詳細說明它們所包含的內容。準確性

指實時發生的業務交易或狀態變化。準確性應通過源文檔（即來自業務交互）來衡量，但如果不可用，則應通過獨立性質的確認技術來衡量。它將指示數據是否沒有重大錯誤。

衡量準確性的一個典型指標是數據與錯誤的比率，它跟蹤相對于數據集的已知錯誤（如缺失、不完整或冗余條目）的數量。這個比率當然應該隨著時間的推移而增加，證明數據質量會變得更好。數據與錯誤的比率沒有特定的比率，因為它在很大程度上取決于數據集的大小和性質，但當然越高越好。在下面的示例中，我們看到數據錯誤率剛好低于95%的準確率目標：

一致性
嚴格來說，一致性指定從不同數據集中提取的兩個數據值不應相互沖突。然而，一致性并不自動意味著正確性。
一致性的一個例子是一個規則，它將驗證公司每個部門的員工總數不超過該組織中的員工總數。

完整性
完整性將表明是否有足夠的信息來得出結論。完整性可以通過確定每個數據條目是否是“完整”數據條目來衡量。所有可用的數據輸入字段必須完整，并且數據記錄集不應缺少任何相關信息。
例如，可以使用的一個簡單質量指標是數據集中的空值數量：在庫存/倉儲環境中，這意味著每一行項目都引用一個產品，并且每個項目都必須有一個產品標識符。在填寫該產品標識符之前，該行項目無效。然后，應該隨著時間的推移監控該指標，以減少它。

可靠性
也稱為數據驗證，可靠性是指對數據進行結構測試，以確保數據符合程序。這意味著沒有意外的數據錯誤，并且它對應于其適當的名稱（例如，日期、月份和年份）。
在這里，一切都歸結為數據轉換錯誤率。要使用的指標跟蹤有多少數據轉換操作相對于整體失敗或者以一種格式存儲的數據并將其轉換為另一種格式的過程未成功執行的頻率。在下面的示例中，轉換錯誤率隨時間變化：

及時性
及時性對應于對信息可用性和可訪問性的期望。換言之，它衡量的是從預期數據到數據可供使用的時間之間的時間。
評估及時性的一個指標是數據價值實現時間。這對于衡量和優化這個時間至關重要，因為它對企業的成功有很多影響。獲取有價值的數據的最佳時機始終是現在，因此越早訪問該信息越好。
無論選擇哪種方式來提高數據質量，都將始終需要衡量努力的有效性。所有這些數據質量指標示例都可以很好地評估數據質量管理流程。評估得越多，就能改進得越好，所以控制它是關鍵。

數據質量指標示例
以下是5個數據質量指標示例：
數據與錯誤的比率：監控與整個數據集相比已知數據錯誤的數量。
?空值數：計算數據集中有空字段的次數。
數據價值實現時間：評估從數據集中獲得洞察所需的時間。
數據轉換錯誤率：該指標跟蹤數據轉換操作失敗的頻率。
數據存儲成本：當存儲成本上升而使用的數據量保持不變，或者更糟糕的是，數據量減少時，這可能意味著所存儲的大部分數據的使用質量很低。

為什么需要更好的數據質量控制
高質量數據的好處
讓我們來看看高質量數據在一個領域的好處：營銷。想象一下，您有一個購買的清單，上面有10,000封電子郵件、姓名、電話號碼、企業和地址。然后，假設該列表中有20%是不準確的。這意味著您的列表中有20%的電子郵件、姓名、電話號碼等錯誤。這如何轉化為數字？
好吧，這樣看：如果您針對此列表中的姓名投放廣告活動，由于這些虛假姓名條目，成本將比應有的高出20%。如果您使用實體郵件，多達20%的信件甚至不會送達收件人。通過電話，銷售代表將把更多時間浪費在錯誤的號碼或無法接聽的號碼上。對于電子郵件，您可能認為這沒什么大不了的，但是打開率和其他指標會根據“臟”列表而失真。所有這些成本迅速增加，導致美國公司每年面臨6000億美元的數據問題。但
是，讓我們顛倒一下情況：如果您的數據質量控制到位，那么您將能夠：
以比競爭對手更低的成本獲得潛在客戶
從執行的每個直郵、電話或電子郵件活動中獲得更多投資回報
向最高管理層展示更好的結果，使廣告支出更有可能增加
總而言之，在當今的數字世界中，擁有高質量的數據是領先者和“失敗者”之間的區別。

不良數據質量控制的后果
糟糕的數據質量控制會影響組織的各個方面，包括：
營銷活動的成本和效果如何
了解客戶的準確程度
可以多快將潛在客戶轉化為銷售線索
做出業務決策的準確性如何
Gartner的一項研究告訴我們，糟糕的數據質量控制使他們調查的公司平均每年損1420萬美元。
一項巨大的無形成本：錯誤的決定
也許您并沒有試圖讓其他人相信數據驅動決策的重要性。也許公司已經使用了分析，但沒有對數據質量控制進行盡職調查。在這種情況下，您可能會面臨更大的打擊：根據不準確的數據做出代價高昂的決策。
正如大數據專家ScottLowe所說，也許最糟糕的是，決策是用糟糕的數據做出的：這最終會導致更大更嚴重的問題。他寧愿聽從自己的直覺做出決定，也不愿冒險用不良數據做出決定。
例如，假設您有一個不正確的數據集，表明當前的現金流是健康的。感到樂觀，你擴大了業務。然后，一兩個季度后，您遇到了現金流問題，突然間就很難向供應商（甚至您的員工）付款了。這種災難性的情況是可以通過更高質量的數據來預防的。
低質量數據來源
我們剛剛介紹了如何清理可能不準確的數據。然而，俗話說，一盎司的預防勝過一磅的治療?？紤]到這一點，這里有一些低質量數據的來源，因此可以注意隨著時間的推移保持記錄的準確性。請記住：保持數據的高質量不是一次性的工作。這是一個永無止境的持續過程。

來源#1：并購
當兩家公司以某種方式聯合起來時，他們的數據就會融入這種新的工作關系中。然而，就像兩個婚前有孩子的人建立新的關系一樣，事情有時會變得一團糟。
例如，兩家公司很有可能使用完全不同的數據系統。也許你們中的一個人有一個遺留數據庫，而另一個人已經更新了東西?；蛘呤褂貌煌姆椒ㄊ占瘮祿?。甚至有可能關系中的一個合作伙伴有很多不正確的數據。
行動步驟：如果有計劃的合并或收購，請確保讓IT負責人坐到談判桌前，以便在簽署任何交易之前提前計劃此類問題。

來源#2：從遺留系統過渡
對于非技術用戶來說，可能很難理解從一種操作系統切換到另一種操作系統所固有的困難。直覺上，外行會期望事情已經“設置好”，以便最終用戶可以輕松無痛地進行轉換。這絕對不符合現實。
許多公司將所謂的“遺留系統”用于已有數十年歷史的數據庫，當不可避免的過渡時期到來時，需要處理大量問題。這是由于數據系統本身的技術性質。每個數據系統都包含三個部分：
1. 數據庫（數據本身）
2. “業務規則”（解釋數據的方式）
3. 用戶界面（數據呈現方式）
在從一個系統到另一個系統的數據轉換過程中，這些不同的部分可能會帶來不同的挑戰。正如SteveHoberman所寫，關注的焦點是數據轉換過程中的數據結構。但這是一種失敗的方法，因為源和目標的業務規則層非常不同。轉換后的數據在實際應用中不可避免地不準確，即使它在技術上仍然是正確的。
行動步驟：從遺留系統過渡到新系統時，過渡團隊成為一個系統或另一個系統的專家是不夠的。他們需要成為這兩個方面的專家，以確保過渡順利進行。

來源#3：用戶錯誤
這是一個可能永遠不會消失的問題，因為人類將始終參與數據輸入，并且人類會犯錯誤。人們經常打錯東西，這必須加以考慮。
你會認為數據清理專家是絕對可靠的，事實并非如此。正如霍伯曼先生所說，“仍有3%的更正輸入錯誤。這是在一個以數據質量為主要目標的項目中！”行動步驟：創建公司使用的所有表格，盡可能簡單直接地填寫。雖然這不會完全防止用戶錯誤，但它至少會減輕它。

總 結
希望這篇文章為您提供了保持數據高質量所需的信息。如果您的公司是努力使數據健康的公司，那么就更多的在市場中獲得競爭優勢。數據質量管理是保持組織在當今數字市場中具有競爭力的關鍵過程。雖然維護高質量數據似乎真的很痛苦，俗話說，“如果容易，每個人都會這樣做?！?br>