數(shù)據(jù)是數(shù)字化時代企業(yè)的重要資產(chǎn),數(shù)據(jù)可以以產(chǎn)品或服務(wù)的形態(tài)為企業(yè)創(chuàng)造價值。既然數(shù)據(jù)可以是產(chǎn)品、可以是服務(wù),那問題就簡單了。雖然數(shù)據(jù)質(zhì)量管理沒有成熟方法論支撐,但是產(chǎn)品和服務(wù)的質(zhì)量管理體系卻已非常的成熟了。比如,國際上權(quán)威的質(zhì)量管理體系IOS9001、六西格瑪?shù)润w系方法,對企業(yè)的數(shù)據(jù)質(zhì)量管理會有什么啟發(fā)呢?
ISO9001質(zhì)量管理體系
ISO9001質(zhì)量管理體系標(biāo)準(zhǔn)是由ISO/TC176/SC2(國際標(biāo)準(zhǔn)化組織質(zhì)量管理和質(zhì)量保證技術(shù)委員會質(zhì)量體系分技術(shù)委員會)負(fù)責(zé)制定和修訂,旨在為組織質(zhì)量管理體系的建設(shè)提供指導(dǎo)。采用質(zhì)量管理體系是組織的一項戰(zhàn)略決策,能夠幫助其提高整體績效,為推動可持續(xù)發(fā)展奠定良好基礎(chǔ)。ISO9001質(zhì)量管理體系結(jié)合了 PDCA(策劃、實施、檢查、處置)循環(huán)與基于風(fēng)險的思維,過程方法能使企業(yè)策劃其過程及其相互作用。PDCA 循環(huán)使得組織確保對其過程進(jìn)行恰當(dāng)管理,提供充足資源,確定改進(jìn)機會并采取行動。基于風(fēng)險的思維使得企業(yè)能確定可能導(dǎo)致其過程和質(zhì)量管理體系偏離策劃結(jié)果的各種因素,采取預(yù)防控制,最大限度地降低不利影響,并最大限度地利用出現(xiàn)的機遇。

圖:ISO9001質(zhì)量管理體系,來源:《一本書講透數(shù)據(jù)治理》機械工業(yè)出版社
ISO9001質(zhì)量管理體系的核心思想是以客戶為中心,強調(diào)領(lǐng)導(dǎo)作用、過程方法、持續(xù)改進(jìn)、循證決策和關(guān)系管理。以下內(nèi)容是根據(jù)作者對ISO9001質(zhì)量體系粗淺理解和多年的數(shù)據(jù)治理實踐,嘗試給出企業(yè)數(shù)據(jù)質(zhì)量管理的方法論,不免有所偏誤,姑且用于學(xué)習(xí)和參考。
(1)以客戶為中心在企業(yè)的數(shù)據(jù)質(zhì)量管理中,誰是客戶?我認(rèn)為在企業(yè)中凡是使用數(shù)據(jù)的“用戶”都應(yīng)該是數(shù)據(jù)質(zhì)量管理的客戶,包括:企業(yè)的中高層管理者、業(yè)務(wù)部門、IT部門、以及相關(guān)的業(yè)務(wù)系統(tǒng)或數(shù)據(jù)庫。企業(yè)的數(shù)據(jù)質(zhì)量管理必須要以用戶的最終需求為中心,實現(xiàn)數(shù)據(jù)的可用、適用、易用。對于企業(yè)來講,數(shù)據(jù)質(zhì)量一定是越高越有價值,這點無可置疑。但是數(shù)據(jù)質(zhì)量管理是一項管理工作,是會產(chǎn)生成本的。我們在堅持“客戶為中心”的原則同時要做好數(shù)據(jù)治理實施路線規(guī)劃,緊密結(jié)合企業(yè)的數(shù)據(jù)管理現(xiàn)狀,“客戶要求”以及相關(guān)方的要求和期望,企業(yè)的數(shù)據(jù)治理不可“照搬照抄”,更不能“眉毛胡子一把抓”。
(2)領(lǐng)導(dǎo)作用質(zhì)量管理體系的建設(shè)特別強調(diào)領(lǐng)導(dǎo)作用,其實數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)治理甚至所有數(shù)據(jù)類項目“領(lǐng)導(dǎo)作用”都十分重要。企業(yè)的數(shù)據(jù)治理涉及范圍廣,協(xié)調(diào)難度大,要想獲得項目的成功必須獲得高層的支持,高層領(lǐng)導(dǎo)在數(shù)據(jù)治理體系中的作用:
a)企業(yè)數(shù)據(jù)戰(zhàn)略的制定者和主要推動者,企業(yè)數(shù)據(jù)質(zhì)量體系建設(shè)的決策層;
b)確保制定數(shù)據(jù)質(zhì)量管理體系的方針和目標(biāo),并與企業(yè)環(huán)境和戰(zhàn)略方向相一致;
c)確保數(shù)據(jù)治理體系要求融入與企業(yè)的業(yè)務(wù)過程;
d)確保提供企業(yè)數(shù)據(jù)治理及數(shù)據(jù)質(zhì)量管理所需的各種資源;
e)推動建設(shè)企業(yè)數(shù)據(jù)文化、培養(yǎng)企業(yè)員工數(shù)據(jù)思維;
f)推動企業(yè)數(shù)據(jù)質(zhì)量的持續(xù)改進(jìn);
g)推動實現(xiàn)企業(yè)數(shù)據(jù)治理/數(shù)據(jù)質(zhì)量管理的最終目標(biāo);
h)數(shù)據(jù)治理過程中的重大問題決策和關(guān)鍵資源協(xié)調(diào)。
(3)數(shù)據(jù)質(zhì)量策劃基于“以客戶為中心”的原則,明確企業(yè)數(shù)據(jù)質(zhì)量管理的目標(biāo),通過對企業(yè)數(shù)據(jù)質(zhì)量管理現(xiàn)狀的評估,制定適合企業(yè)的數(shù)據(jù)質(zhì)量管理策略和計劃。中醫(yī)看病講求“標(biāo)本兼治”,企業(yè)數(shù)據(jù)質(zhì)量管理也一樣,因從引發(fā)數(shù)據(jù)質(zhì)量問題的根源抓起。從管理入手,對數(shù)據(jù)運行的全過程進(jìn)行監(jiān)控,強化全面數(shù)據(jù)質(zhì)量管理的思想觀念,把這一觀念滲透到數(shù)據(jù)生命周期的全過程。
企業(yè)數(shù)據(jù)質(zhì)量計劃切不可“貪大求全”,應(yīng)該“小步快跑”快速迭代,持續(xù)改進(jìn)。企業(yè)數(shù)據(jù)質(zhì)量管理的計劃應(yīng)具備以下特點:
a)與企業(yè)戰(zhàn)略目標(biāo)保持一致;
b)有明確的數(shù)據(jù)質(zhì)量目標(biāo),并數(shù)據(jù)質(zhì)量目標(biāo)可實現(xiàn)、可測量;
c)要考慮到適用性要求,不能為了治理而治理;
d)要明確實現(xiàn)目標(biāo)企業(yè)要采取的措施;
e)要明確所需的資源和指定負(fù)責(zé)人;
f)要明確實現(xiàn)目標(biāo)的計劃表。
(4)數(shù)據(jù)質(zhì)量過程執(zhí)行根據(jù)定義數(shù)據(jù)質(zhì)量目標(biāo)和計劃執(zhí)行數(shù)據(jù)質(zhì)量管理。a)資源的準(zhǔn)備。企業(yè)應(yīng)確定并提供為建立、實施、保持和持續(xù)改進(jìn)數(shù)據(jù)質(zhì)量管理體系所需的資源,包括:現(xiàn)有內(nèi)部資源的能力和約束;需要從外部供方獲得的資源。b)環(huán)境的準(zhǔn)備。企業(yè)應(yīng)對數(shù)據(jù)質(zhì)量改進(jìn)所涉及的應(yīng)用系統(tǒng)、數(shù)據(jù)倉庫和相關(guān)工具準(zhǔn)備就緒。c)定義數(shù)據(jù)質(zhì)量維度和數(shù)據(jù)治理指標(biāo)。
d)對目標(biāo)數(shù)據(jù)集實施監(jiān)控和測量,對測量出的數(shù)據(jù)質(zhì)量問題進(jìn)行匯總,形成數(shù)據(jù)質(zhì)量報告。
(5)數(shù)據(jù)質(zhì)量分析與評估根據(jù)數(shù)據(jù)質(zhì)量報告中的數(shù)據(jù)質(zhì)量問題匯總,進(jìn)行數(shù)據(jù)質(zhì)量問題的評估和根因分析,確定數(shù)據(jù)治理改進(jìn)策略和方案。a)數(shù)據(jù)質(zhì)量維度和數(shù)據(jù)質(zhì)量指標(biāo)的有效性;b)分析并明確產(chǎn)生數(shù)據(jù)質(zhì)量問題的直接原因;c)分析并明確產(chǎn)生數(shù)據(jù)質(zhì)量問題的根本原因;d)分析并明確是否存在潛在的、類似的數(shù)據(jù)質(zhì)量問題和風(fēng)險,并找到它;e)制定合適的數(shù)據(jù)質(zhì)量改進(jìn)方案;
f)明確數(shù)據(jù)質(zhì)量改進(jìn)計劃和負(fù)責(zé)人;
(6)數(shù)據(jù)質(zhì)量改進(jìn)企業(yè)應(yīng)確定并選擇改進(jìn)機會,采取必要措施,滿足數(shù)據(jù)治理目標(biāo)要求和增強“客戶”滿意。這應(yīng)包括:a)必要的
數(shù)據(jù)清洗和轉(zhuǎn)換,修正錯誤數(shù)據(jù)、清理臟數(shù)據(jù)、補齊不完整的數(shù)據(jù);b)必要的數(shù)據(jù)模型優(yōu)化、數(shù)據(jù)結(jié)構(gòu)改進(jìn)、應(yīng)用程序改造;c)必要的業(yè)務(wù)流程優(yōu)化,數(shù)據(jù)操作培訓(xùn);d)必要的數(shù)據(jù)管理制度的約束和績效考核;
最后,“數(shù)據(jù)質(zhì)量管理是一場馬拉松,而不是短跑”,企業(yè)需要考慮數(shù)據(jù)質(zhì)量的持續(xù)改進(jìn)和預(yù)防措施。注:改進(jìn)的例子可包括糾正、糾正措施、持續(xù)改進(jìn)、突變、創(chuàng)新和重組。
小結(jié):以ISO9001質(zhì)量管理體系為指導(dǎo),以“客戶需求為中心”,以提高數(shù)據(jù)質(zhì)量、提升“客戶”滿意度為目標(biāo),制定企業(yè)數(shù)據(jù)質(zhì)量方針,實施數(shù)據(jù)治理策略實現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量管理的PDCA,即數(shù)據(jù)質(zhì)量策劃、實施數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)質(zhì)量分析和評估、數(shù)據(jù)質(zhì)量改進(jìn)的閉環(huán)管理。
六西格瑪質(zhì)量管理體系
六西格碼(6 Sigma)是基于度量的過程改進(jìn)策略。六西格瑪是一種改善企業(yè)質(zhì)量流程管理的技術(shù),以“零缺陷”的完美商業(yè)追求,以客戶為導(dǎo)向,以業(yè)界最佳為目標(biāo),以數(shù)據(jù)為基礎(chǔ),以事實為依據(jù),以流程績效和財務(wù)評價為結(jié)果,持續(xù)改進(jìn)企業(yè)經(jīng)營管理的思想方法、實踐活動和文化理念。這種方法背后的概念是減少過程中的差異,以達(dá)到一致且理想的結(jié)果。
六西格碼是一種嚴(yán)格的數(shù)據(jù)驅(qū)動方法和方法,旨在消除從制造到交易以及從產(chǎn)品到服務(wù)的任何過程中的缺陷。其實,數(shù)據(jù)治理領(lǐng)域與傳統(tǒng)行業(yè)的管理成熟度相比還是有很大的差距,數(shù)據(jù)治理的體系化的理論、方法都還比較匱乏,處于一個嬰兒期。
數(shù)據(jù)質(zhì)量作為質(zhì)量的一個子集,可以參照傳統(tǒng)質(zhì)量管理體系六西格碼的思路和方法來管理企業(yè)的數(shù)據(jù)質(zhì)量。根據(jù)DMAIC模型我們將數(shù)據(jù)質(zhì)量管理劃分為定義、測量、分析、改進(jìn)、控制六個階段,每個階段的主要工作內(nèi)容:

圖:6 Sigma質(zhì)量管理體系,來源:《一本書講透數(shù)據(jù)治理》機械工業(yè)出版社
(1)定義階段(D階段)定義階段是DMAIC歷程中最長的階段之一,最重要的任務(wù)是界定數(shù)據(jù)質(zhì)量治理的范圍,并將數(shù)據(jù)質(zhì)量改進(jìn)的方向和內(nèi)容界定在合理的范圍內(nèi)。
通過使用主數(shù)據(jù)識別法、專家小組法、問卷調(diào)查法、漏斗法等方法,定義出數(shù)據(jù)質(zhì)量管理的對象。該階段還有一個重要的任務(wù)就是對數(shù)據(jù)的理解。這些數(shù)據(jù)稍后將在項目中用于識別可能發(fā)生質(zhì)量問題的根本原因,進(jìn)行統(tǒng)計測試等。因此,數(shù)據(jù)治理團(tuán)隊理解數(shù)據(jù)的含義、數(shù)據(jù)質(zhì)量的規(guī)則以及何時使用它們、如何使用它們是定義階段的當(dāng)務(wù)之急。企業(yè)數(shù)據(jù)質(zhì)量治理一般主要包括兩類數(shù)據(jù):一類是離散數(shù)據(jù),即無法進(jìn)一步細(xì)分,數(shù)量有限且基于計數(shù)的數(shù)據(jù)類型,例如:通過考試的人數(shù)、賬單上的錯誤計數(shù)或錯誤數(shù)、樣品中的缺陷數(shù)量、一周中的天數(shù)、走進(jìn)餐廳的顧客數(shù)。另一類是連續(xù)數(shù)據(jù),即可以進(jìn)一步細(xì)分的數(shù)據(jù)。連續(xù)數(shù)據(jù)可以采用連續(xù)規(guī)模的任何值,例如溫度,重量,距離,時間,利潤、貨幣等。兩類數(shù)據(jù)的比較如下:
|
連續(xù)數(shù)據(jù)
|
離散數(shù)據(jù)
|
|
更精確
|
不太精確
|
|
提供更多信息
|
信息較少
|
|
可以刪除估算值和四舍五入的測量值
|
無法完全刪除估算值
|
|
獲取連續(xù)數(shù)據(jù)比較耗時
|
耗時少
|
(2)測量階段(M階段)基于對數(shù)據(jù)治理對象的含義、質(zhì)量維度、質(zhì)量規(guī)則的理解后,需要選取以下若干個質(zhì)量維度并定義每個維度的質(zhì)量指標(biāo),建立數(shù)據(jù)質(zhì)量測量及評估模型。此階段的重點是確定需要量化的參數(shù),測量參數(shù)的方式,收集必要的數(shù)據(jù)并通過不同的技術(shù)進(jìn)行測量。度量標(biāo)準(zhǔn):度量標(biāo)準(zhǔn),即需要測量數(shù)據(jù)集的數(shù)據(jù)質(zhì)量維度和指標(biāo),質(zhì)量維度我們之間已經(jīng)介紹過,其主要包含一致性、完整性、正確性、有效性、及時性、唯一性等;質(zhì)量指標(biāo)是即衡量數(shù)據(jù)質(zhì)量目標(biāo)的參數(shù),預(yù)期中要達(dá)到的指數(shù)、規(guī)格、標(biāo)準(zhǔn),一般用數(shù)據(jù)表示。操作定義:定義如何進(jìn)行數(shù)據(jù)測量以及在操作中使用哪種測量類型。數(shù)據(jù)類型:明確測量對象的數(shù)據(jù)類型是連續(xù)數(shù)據(jù)還是離散數(shù)據(jù)。基于此信息,將在項目的其他階段中選擇不同的統(tǒng)計分析或控制圖。測量頻率:需要明確對測量數(shù)據(jù)集的測量頻率。測量工具:在測量階段,可以使用不同的工具,例如控制圖,基準(zhǔn)測試等。在此過程中,將分析輸入數(shù)據(jù)源的結(jié)構(gòu)完整性和一致性,有效的數(shù)值和范圍,統(tǒng)計異常,重復(fù)的值,缺失的值以及其他違反業(yè)務(wù)規(guī)則或預(yù)期行為的數(shù)據(jù)錯誤。通過對數(shù)據(jù)集的測量,輸出實際測量結(jié)果和預(yù)期的期望形成對比,找出差距
。(3)分析階段(A階段)此階段也被稱為六西格瑪?shù)暮诵模驗榇颂?strong>執(zhí)行統(tǒng)計測試以驗證在測量階段中確定的原因,并找到發(fā)生數(shù)據(jù)質(zhì)量問題的根本原因。數(shù)據(jù)質(zhì)量的根因分析是為了明確數(shù)據(jù)質(zhì)量的原因和改進(jìn)的機會。分析階段遵循一種追溯方法,從最初確定的各種潛在原因中找出確切的根本原因。通過數(shù)據(jù)分析,找到發(fā)生數(shù)據(jù)質(zhì)量問題的重災(zāi)區(qū),確定出影響數(shù)據(jù)質(zhì)量的關(guān)鍵因素。此階段從探索導(dǎo)致主要問題的所有可能原因開始。然后,通過假設(shè)和統(tǒng)計工具對這些原因進(jìn)行驗證和確認(rèn)。此階段的結(jié)果是經(jīng)過驗證的根本原因–需要采取行動以改善流程。分析階段需要格外小心,以識別和驗證根本原因。因為通過六個西格瑪項目改進(jìn)數(shù)據(jù)質(zhì)量管理過程的有效性取決于對根本原因的正確識別。數(shù)據(jù)治理的目標(biāo)是提升數(shù)據(jù)質(zhì)量從而提高數(shù)據(jù)分析和業(yè)務(wù)決策的準(zhǔn)確性,通過使用六西格瑪?shù)慕?jīng)典工具進(jìn)行數(shù)據(jù)分析,能夠更準(zhǔn)確、更直觀的定位到發(fā)生數(shù)據(jù)質(zhì)量問題的癥結(jié)所在,找出數(shù)據(jù)質(zhì)量問題發(fā)生的根因,再對癥下藥。在分析階段,常用的工具是:魚骨圖、帕累托圖、5WHY分析、頭腦風(fēng)暴、假設(shè)檢驗,時間序列圖和散點圖等。
(4)改進(jìn)階段(I 階段)此階段通過確定改進(jìn)管理和業(yè)務(wù)流程、優(yōu)化數(shù)據(jù)質(zhì)量的方案。在此階段,將咨詢流程所有者并提出改進(jìn)建議,明確改進(jìn)的行動計劃,并將改進(jìn)行動計劃分發(fā)給相關(guān)利益方,該行動計劃規(guī)定–采取什么樣的行動,誰來執(zhí)行、何時實施等內(nèi)容。隨著改進(jìn)行動計劃的形成,實施階段同時開始,在實施過程中,將采取相應(yīng)的數(shù)據(jù)質(zhì)量改進(jìn)措施,通過優(yōu)化數(shù)據(jù)管理流程,優(yōu)化數(shù)據(jù)模型以及數(shù)據(jù)管理策略,最大化消除數(shù)據(jù)質(zhì)量問題或?qū)?shù)據(jù)質(zhì)量問題帶來的影響降低到最小程度。這里,再次強調(diào)企業(yè)數(shù)據(jù)質(zhì)量的提升,不單單是技術(shù)問題,應(yīng)將數(shù)據(jù)管理的技術(shù)、流程、工具以及組織和人員進(jìn)行有效融合,以支持?jǐn)?shù)據(jù)質(zhì)量的持續(xù)改進(jìn)。
(5)控制階段(C階段)此階段的主要目標(biāo)是生成詳細(xì)的數(shù)據(jù)質(zhì)量監(jiān)控計劃,該計劃可確保維持所需的能力,包括:固化數(shù)據(jù)標(biāo)準(zhǔn),優(yōu)化數(shù)據(jù)管理流程,并通過數(shù)據(jù)管理和監(jiān)控手段,確保流程改進(jìn)成果,提升數(shù)據(jù)質(zhì)量。在此階段,將評估實施后的結(jié)果,確定是否達(dá)到了預(yù)期的目標(biāo)。在大多數(shù)情況下,控制階段是過渡階段,從當(dāng)前的實踐和系統(tǒng)過渡到新的實踐。該階段主要方法有:標(biāo)準(zhǔn)化、程序化、制度化等,該階段還有一個很最重要是為所有利益相關(guān)者提供有關(guān)數(shù)據(jù)質(zhì)量改進(jìn)的培訓(xùn)和數(shù)據(jù)標(biāo)準(zhǔn)的宣貫,培養(yǎng)企業(yè)數(shù)據(jù)思維和數(shù)據(jù)文化。
小結(jié):基于六西格瑪?shù)腄MAIC模型為企業(yè)的數(shù)據(jù)質(zhì)量管理提供一系列的原則、思路、方法和工具,他為企業(yè)數(shù)據(jù)質(zhì)量管理提供了一個參考的框架,對于發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題及如何改進(jìn)提供了完整的解決思路。
ISO9001 VS 六西格瑪,哪個更適合數(shù)據(jù)質(zhì)量管理?
ISO9001是一個應(yīng)用廣泛的質(zhì)量管理體系,能夠幫助企業(yè)構(gòu)建全面的數(shù)據(jù)治理管理框架,包括制定數(shù)據(jù)質(zhì)量計劃,實施數(shù)據(jù)質(zhì)量管理計劃,檢查數(shù)據(jù)質(zhì)量實施效果,優(yōu)化管理策略和流程。同時,可以借鑒ISO9001質(zhì)量管理思想,以客戶為中心,建立數(shù)據(jù)質(zhì)量管理的PDAC閉環(huán)管理流程和組織支撐體系,強調(diào)企業(yè)高層領(lǐng)導(dǎo)對數(shù)據(jù)質(zhì)量管理體系建設(shè)和數(shù)據(jù)質(zhì)量的持續(xù)改進(jìn)的重要作用,切實使數(shù)據(jù)質(zhì)量管理體系得到有效運行,保障數(shù)據(jù)質(zhì)量的持續(xù)提升。六西格瑪是一個在制造行業(yè)廣泛應(yīng)用的質(zhì)量管理體系,而數(shù)據(jù)質(zhì)量管理相對于傳統(tǒng)行業(yè)來說還是非常新的領(lǐng)域,管理的理論和方法都比較匱乏,六西格瑪為企業(yè)數(shù)據(jù)質(zhì)量管理體系的建設(shè)提供了可參考的完整視角。
相比ISO9001,六西格瑪本身強調(diào)“以數(shù)據(jù)說話”,它配套的各種數(shù)據(jù)分析工具也非常更適合數(shù)據(jù)質(zhì)量管理。但由于六個西格瑪擅長處理生產(chǎn)和計劃流程等方面的內(nèi)容,所以它也可能會產(chǎn)生僵化和官僚主義,增加企業(yè)數(shù)據(jù)管理的成本,甚至影響企業(yè)的創(chuàng)新能力。尤其對于一些中小型企業(yè)來講,實施六西格瑪進(jìn)行數(shù)據(jù)質(zhì)量管理將帶來很高的成本,從投資收益比上來說,需要找到一個平衡。不論ISO9001,還是六西格瑪都是企業(yè)數(shù)據(jù)質(zhì)量管理的參考框架。
由于數(shù)據(jù)——這一個特殊的生產(chǎn)要素,具有可復(fù)制性、非排他性、可再生性等特點,注定傳統(tǒng)的任何管理體系都不一定能夠完全適配它。所以,在實際應(yīng)用中,企業(yè)應(yīng)探索一種敏捷的、精益的數(shù)據(jù)治理模式,在可控的成本范圍之內(nèi),實現(xiàn)數(shù)據(jù)質(zhì)量帶來的利潤最大化。
注:本文節(jié)選自《一本書講透數(shù)據(jù)治理》,機械工業(yè)出版社。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)