全文共?6315個字，建議閱讀需 10 分鐘

主數(shù)據(jù)管理 (master data management，簡稱MDM) 是確保企業(yè)始終使用一個準確、最新數(shù)據(jù)版本（通常稱為“黃金記錄”）并根據(jù)其開展業(yè)務或做出決策的過程。

這聽起來很簡單，但在充斥著源源不斷的、復雜的數(shù)據(jù)流的現(xiàn)代商業(yè)環(huán)境中，主數(shù)據(jù)管理可能是最復雜的商業(yè)挑戰(zhàn)之一。

對于一個企業(yè)來說，要保證良好的數(shù)據(jù)健康——即支持有效、及時的決策和業(yè)務目標的數(shù)據(jù)，利用 MDM 解決方案可以提供的“黃金數(shù)據(jù)記錄”是關鍵。MDM從不同來源獲取關鍵數(shù)據(jù)并將其作為一個穩(wěn)定可靠的數(shù)據(jù)來源提供業(yè)務和管理使用。這個過程，需要結合專業(yè)數(shù)據(jù)管理知識、數(shù)據(jù)管理工具和數(shù)據(jù)戰(zhàn)略。

01 主數(shù)據(jù)的定義

主數(shù)據(jù)（Master Data）是具有共享性的基礎數(shù)據(jù)，可以在企業(yè)內(nèi)跨越各個業(yè)務部門被重復使用的，因此通常長期存在且應用于多個系統(tǒng)，例如：客戶、供應商、組織、人員、物料、產(chǎn)品等。由于主數(shù)據(jù)是企業(yè)基準數(shù)據(jù)，數(shù)據(jù)來源單一、準確、權威，具有較高的業(yè)務價值，因此是企業(yè)執(zhí)行業(yè)務操作和決策分析的數(shù)據(jù)標準。

PS：數(shù)據(jù)治理：什么是MDM？

主數(shù)據(jù)的3個主要特征

①高價值性：主數(shù)據(jù)是所有業(yè)務處理都離不開的實體數(shù)據(jù)，與大數(shù)據(jù)相比價值密度非常高。

②高共享性：主數(shù)據(jù)是跨部門、跨系統(tǒng)高度共享的數(shù)據(jù)。

③相對穩(wěn)定性：與交易數(shù)據(jù)相比主數(shù)據(jù)是相對穩(wěn)定的，變化頻率較低。變化頻率較低并不意味著一成不變，例如：客商更名會引起客商主數(shù)據(jù)的變動、人員調(diào)動會引起人員主數(shù)據(jù)的變動等等。

記住這三個特征基本就能夠識別主數(shù)據(jù)了。當然，主數(shù)據(jù)的特征還包括識別唯一性、長期有效性、特征一致性等，有興趣的可以線下了解。

主數(shù)據(jù)是具有定義和描述核心業(yè)務實體的標準定義的數(shù)據(jù)，它還有個孿生兄弟叫做“參考數(shù)據(jù)”，用于對其他數(shù)據(jù)進行定義或分類的數(shù)據(jù)集，例如：計量單位、性別代碼、民族代碼、幣種和國家代碼等。

主數(shù)據(jù)和參考數(shù)據(jù)是典型的“小數(shù)據(jù)”，對唯一性、準確性、完整性、及時性的要求較高。而主數(shù)據(jù)管理就是采用相關的業(yè)務和技術策略，確保企業(yè)關鍵數(shù)據(jù)的唯一、準確、完整和及時。

不論是大數(shù)據(jù)還是小數(shù)據(jù)，持續(xù)地提升數(shù)據(jù)質(zhì)量才是企業(yè)數(shù)據(jù)治理的王道！

02 主數(shù)據(jù)管理和SOA

SOA最適合最擅長的就是系統(tǒng)集成。而系統(tǒng)集成的關鍵就是提取公共的有價值的服務。各個系統(tǒng)通過暴露服務，經(jīng)過ESB這條總線連接后，就將幾個系統(tǒng)集成起來了。這時候的信息化領域才真正明確“主數(shù)據(jù)”的定義，并確定了主數(shù)據(jù)的地位——企業(yè)信息化建設的基礎。

通過與面向服務的架構 (SOA) 的互操作，主數(shù)據(jù)管理工具在云中具有新的意義和力量。當幾乎所有東西（包括基礎設施）都被虛擬化時，不一致或損壞數(shù)據(jù)的成本可能會非常嚴重。

云原生 MDM 解決方案提供面向服務的架構 (SOA)，包括互聯(lián)網(wǎng)即服務 (IaaS)，從一個真實來源工作，使企業(yè)范圍內(nèi)的變更一致性可以近乎實時地實現(xiàn)。

SOA 中 MDM 的核心挑戰(zhàn)是一種數(shù)據(jù)治理方法，該方法標準化存儲庫與遠程系統(tǒng)、服務和軟件的主機之間的數(shù)據(jù)結構和規(guī)則。協(xié)調(diào)用于在不同系統(tǒng)之間交換和覆蓋數(shù)據(jù)的工作協(xié)議對于現(xiàn)有 IT 人員來說可能是一項艱巨的挑戰(zhàn)。這就需要與值得信賴的專家顧問合作，來簡化MDM管理的流程。

03 主數(shù)據(jù)管理的價值

常見的主數(shù)據(jù)域有四個：產(chǎn)品數(shù)據(jù)、位置數(shù)據(jù)、客商數(shù)據(jù)和其他數(shù)據(jù)。企業(yè)可以通過多個業(yè)務系統(tǒng)來管理各個主數(shù)據(jù)域，例如：產(chǎn)品信息管理 (PIM) 、CRM等。但是，多域的MDM需要企業(yè)在一個統(tǒng)一的數(shù)據(jù)管理平臺中處理所有這些主數(shù)據(jù)。

當企業(yè)主數(shù)據(jù)在相關異構系統(tǒng)和不同部門之間保持一致且健康時，MDM 可以帶來巨大的好處：

1. 降低總運營成本

企業(yè)的業(yè)務中依賴高質(zhì)量數(shù)據(jù)以降低總運營成本：

系統(tǒng)建設，為所有應用程序及其依賴項提供基準數(shù)據(jù)

企業(yè)運營，從生產(chǎn)到財務和人力資源都離不開主數(shù)據(jù)

數(shù)據(jù)存儲，包括熱（工作）和冷（歸檔）信息

庫存計劃，供應鏈物流和訂購協(xié)議

即使是從一個系統(tǒng)或部門到另一個系統(tǒng)或部門的任何數(shù)據(jù)的最輕微差異也可能引發(fā)連鎖反應，迅速影響所有相關信息，增加運營費用，并危及企業(yè)的業(yè)務。而這種不健康的數(shù)據(jù)通常會比最初出現(xiàn)的情況造成更大的破壞。根據(jù)哈佛商業(yè)評論的一項研究，使用最寬松的標準，只有 3% 的數(shù)據(jù)質(zhì)量分數(shù)可以被評為“可接受”，平均而言，47% 的新創(chuàng)建數(shù)據(jù)記錄至少包含一個嚴重錯誤。

另一方面，高質(zhì)量的數(shù)據(jù)可以幫助企業(yè)優(yōu)化運營、削減開支并為業(yè)務決策提供值得信賴的洞見。

2. 減少架構膨脹

減少業(yè)務的損失并不是 MDM 影響利潤的唯一方式。運行和支持IT架構的成本——無論是在本地模式、混合模式還是在云原生，都直接受到使用的資源量的影響，這包括存儲空間、處理時間和網(wǎng)絡吞吐量。通過使用一個平臺將數(shù)據(jù)資產(chǎn)統(tǒng)一到一個單一來源系統(tǒng)，可以顯著減少維護多個數(shù)據(jù)源所需的資源，降低 IT 運營成本，并消除數(shù)據(jù)孤島帶來的數(shù)據(jù)可訪問性挑戰(zhàn)。

3. 更快的交付

MDM 也是現(xiàn)代開發(fā)架構的核心考慮因素，例如：持續(xù)交付、DevOps 以及其他需要共享可靠數(shù)據(jù)的設計架構。通過為開發(fā)團隊提供高質(zhì)量的數(shù)據(jù)存儲庫，應用程序和改進可以更快地進行交付。這意味著今天發(fā)掘的 MDM 發(fā)現(xiàn)可能會立即在軟件中投入使用，而不是在經(jīng)過擴展的審查和重新編碼過程之后。

4. 簡化合規(guī)

現(xiàn)代數(shù)字商業(yè)世界的一個主要挑戰(zhàn)是合規(guī)性。GDPR、PCI、CCPA和其他監(jiān)管框架帶來了數(shù)據(jù)管理和使用的相關條條框框，企業(yè)必須滿足這些條件才能保持合規(guī)。僅合規(guī)就可以（尤其在較大的企業(yè)中）是一項重要目標。MDM 可以通過確保企業(yè)滿足可驗證、安全數(shù)據(jù)集成的相關標準來幫助消除執(zhí)行強制性合規(guī)性報告和審計的麻煩，并且成功實施 MDM 在許多數(shù)據(jù)治理框架中發(fā)揮著關鍵作用。

5. 改善客戶體驗

俗話說，時間就是金錢。在以現(xiàn)代商業(yè)快速發(fā)展的數(shù)字世界中，這從未像現(xiàn)在這樣真實，尤其是在涉及客戶的時間時。MDM 通過消除影響產(chǎn)品交付的不一致和錯誤，從首次與應用程序交互到傳輸、交付和回饋，縮短交付周期，從而改善客戶體驗。

6. 360度全景視圖

基于云原生的現(xiàn)代 MDM 流程為每個客戶創(chuàng)建完整、實時的單一視圖。MDM 創(chuàng)建了一個“黃金記錄”，為營銷人員提供了用于細分、個性化和更好地了解客戶生命周期的最新和準確信息。

7. 支持商業(yè)智能

由于數(shù)據(jù)是數(shù)字環(huán)境的基礎和生命支持，因此在任何環(huán)境中對 MDM 的影響與數(shù)據(jù)本身一樣是無限的。報表間的不一致源自信息處理流程的治理缺乏和各環(huán)節(jié)上有差異的復制和復雜轉換。受治理的使用主數(shù)據(jù)的處理過程能降低報表間的不一致，為商業(yè)智能和管理決策提供支撐。

04 主數(shù)據(jù)管理的四種模式

沒有單一的 MDM 策略可以滿足所有需求，但是，MDM 的優(yōu)勢之一是其靈活、可定制的方法來管理和管理企業(yè)的主數(shù)據(jù)。MDM通常能夠提供四種常見的管理模式，滿足企業(yè)不同的業(yè)務場景。

1.注冊登記模式

注冊登記模式是通過對來自不同源系統(tǒng)的數(shù)據(jù)運行清理和匹配算法來發(fā)現(xiàn)重復項，它將唯一的全局標識符分配給匹配的記錄，以幫助識別單一版本的真相。這種樣式不會將數(shù)據(jù)發(fā)送回源系統(tǒng)，因此對主數(shù)據(jù)的更改將繼續(xù)通過現(xiàn)有的源系統(tǒng)進行。相反，它清理并匹配標識的交叉引用信息，并假設源系統(tǒng)可以管理其自身數(shù)據(jù)的質(zhì)量。

將存儲匹配和提供相應記錄之間的鏈接所需的信息，并且可以根據(jù)需要訪問此數(shù)據(jù)的視圖。當需要一個單一的、全面的客戶視圖時，它使用每個參考系統(tǒng)來實時構建一個360度視圖。但是，需要對數(shù)據(jù)進行中央治理，以確保黃金記錄是可靠的。

圖片來源：stibosystems.com

注冊登記模式是部署速度最快且成本最低的架構，因為它最大限度地減少了實際通過 MDM 工具移動的數(shù)據(jù)量。注冊登記模式提供了一個不修改主數(shù)據(jù)的只讀數(shù)據(jù)視圖，是刪除重復和獲得對主數(shù)據(jù)的一致訪問的有用方法。

注冊登記模式的缺點是在收集和比較主記錄與遠程設備信息時有較高延遲。此外，注冊表是一種單向集合，在主級別所做的更改不會傳播到 CRM、ERP 和其他系統(tǒng)等遠程源，導致主源和遠程源中的數(shù)據(jù)不一致。

2. 合并模式

合并模式是一種整合架構，主數(shù)據(jù)通常從中心中的多個源進行整合，以創(chuàng)建單個版本的真相，也稱為黃金記錄。該模式類似于注冊登記模式，但添加了將數(shù)據(jù)從源實際移動到主存儲庫的功能。黃金記錄存儲在中心集線器中，用于報告和參考。但是，對主數(shù)據(jù)進行的任何更新都將應用于原始數(shù)據(jù)源。

圖片來源：stibosystems.com

使用合并模式，您可以從許多現(xiàn)有系統(tǒng)提取主數(shù)據(jù)，并將其導入一個受管理的MDM hub。然后可以清理、匹配和集成這些數(shù)據(jù)，為一個或多個主數(shù)據(jù)域提供完整的單個記錄。

合并后的集線器成本低，而且安裝速度快，為方便企業(yè)范圍的報告提供了一種快速而有效的方法。這種風格主要用于分析，為報告和分析提供可靠的數(shù)據(jù)來源。

3. 共存模式

這種架構方法使整合的 MDM 更進了一步，并增加了將主數(shù)據(jù)同步回源的關鍵步驟，創(chuàng)建了一個“共存”在主要存儲庫和單個系統(tǒng)級別的主記錄。

允許以與整合模式相同的方式構造黃金記錄，但是主數(shù)據(jù)存儲在中心MDM系統(tǒng)中，并在其源系統(tǒng)中更新。共存樣式比合并樣式的部署成本更高，因為主數(shù)據(jù)更改可能發(fā)生在MDM系統(tǒng)和應用程序系統(tǒng)中。主數(shù)據(jù)模型的所有屬性在上載到主數(shù)據(jù)管理系統(tǒng)之前必須保持一致并清除。

圖片來源：stibosystems.com

這種模式的主要好處是，數(shù)據(jù)在源系統(tǒng)中被控制，然后與中心同步，因此數(shù)據(jù)可以和諧地共存，并且仍然提供單一版本的事實。這種方法的另一個好處是主數(shù)據(jù)的質(zhì)量得到了改善，訪問速度更快。報告也更容易，因為所有主數(shù)據(jù)屬性都在一個地方。

如果企業(yè)的業(yè)務需要能夠將集中治理的數(shù)據(jù)鏈接回源系統(tǒng)，那么合并模式可以自然地發(fā)展為共存模式。

4. 事務Hub模式

最完整的架構方法、事務式 MDM 在開銷方面也是最昂貴的。主數(shù)據(jù)從源遷移到中央主數(shù)據(jù)系統(tǒng)，在那里根據(jù)業(yè)務規(guī)則對其進行處理、清理和標準化，然后返回源。

圖片來源：stibosystems.com

PS：萬字長文詳解數(shù)據(jù)治理體系！

這種風格通過主節(jié)點和源節(jié)點之間的直接協(xié)調(diào)來減少延遲，并具有在整個企業(yè)中強制執(zhí)行數(shù)據(jù)治理規(guī)則的優(yōu)勢。主數(shù)據(jù)存儲中心支持主記錄的合并，源系統(tǒng)可以訂閱由中央系統(tǒng)發(fā)布的更新，以提供完全的一致性。但是，這種風格需要對源系統(tǒng)進行雙向交互。

企業(yè)從一種 MDM 架構開始，然后演變?yōu)榱硪环N的情況并不少見。成功構建 MDM 的衡量標準是移動和存儲主數(shù)據(jù)的效率、速度和一致性。

05 云中的主數(shù)據(jù)管理的4個挑戰(zhàn)

隨著云計算的不斷成熟，企業(yè)應用不斷向云端遷移，MDM也不例外，很多供應商都提出了基于云的主數(shù)據(jù)管理方案。但是，人們也逐漸發(fā)現(xiàn)，越來越多的與 MDM 相關的陷阱可能會出現(xiàn)在公共或混合云環(huán)境中。

以下是云MDM需要及早解決的四個關鍵挑戰(zhàn)：

第一，多樣的數(shù)據(jù)類型

數(shù)據(jù)呈爆炸式發(fā)展，不論是本地還是云端，結構化、非結構化和半結構化數(shù)據(jù)都在不斷的快速增長中，沒有一種特定的數(shù)據(jù)存儲類型足以滿足 MDM 的需求。企業(yè)的主數(shù)據(jù)管理工具必須足夠靈活以適應所有數(shù)據(jù)的類型。

第二，數(shù)據(jù)安全和合規(guī)

在現(xiàn)代數(shù)字化環(huán)境中，數(shù)據(jù)安全必須是首要指令。如果 MDM 的優(yōu)勢源于維護一個企業(yè)可以從中運營的中央可信的數(shù)據(jù)來源，那么針對該來源的數(shù)據(jù)安全風險和威脅就有可能被監(jiān)測和阻止，從而降低相關業(yè)務運營的風險。如果未將數(shù)據(jù)安全放在 MDM 解決方案的首位，就會引發(fā)黑客攻擊、惡意軟件、勒索軟件的攻擊，或者是內(nèi)部人員的惡意泄露。

第三，治理和應用

MDM 能夠釋放出巨大的潛在力量，但管理它的責任同樣重大。隨著自動化和機器學習等領域的技術進步，用于維持 MDM 解決方案的許多交互可以在后臺自動發(fā)生，但仍由業(yè)務領導者決定哪些數(shù)據(jù)的權重較高以及如何解釋商業(yè)智能。正確的數(shù)據(jù)治理方法不僅規(guī)定了數(shù)據(jù)的范圍，還規(guī)定了誰保存和解釋它。這就是僅擁有單一事實來源與將其充分利用之間的區(qū)別。

第四，專業(yè)的知識

找到正確的經(jīng)驗和快速學習的方法，可能是很多的主數(shù)據(jù)管理中企業(yè)所面臨的重大挑戰(zhàn)。不幸的是，很多企業(yè)缺乏內(nèi)部知識，來制定滿足其需求的定制化解決方案。人才的培養(yǎng)和發(fā)展或選擇外包，是一個應盡早解決的決定。

考慮到這些挑戰(zhàn)，您需要評估哪些模式最適合企業(yè)的需求——同樣重要的是，為企業(yè)的 MDM 提供適合投資預算。

寫在最后

在企業(yè)的數(shù)據(jù)模型中集成主數(shù)據(jù)管理解決方案，將數(shù)據(jù)環(huán)境轉變?yōu)閷ΜF(xiàn)代商業(yè)世界做出反饋和響應的幾乎活的有機體，可以推動企業(yè)將交付的產(chǎn)品和用戶之間的差距縮小到近乎實時的水平。企業(yè)需要構建一套符合實際需求的主數(shù)據(jù)管理體系和平臺，以實現(xiàn)主數(shù)據(jù)單一可信來源，為業(yè)務決策提供支撐。在這個過程中，IT 和業(yè)務用戶都可以參與構建更健康的企業(yè)數(shù)據(jù)環(huán)境中來。

<END>