摘要：億信華辰「2023數字賦能季」主數據管理專場第一期成功舉辦。我們邀請到了中國數據標準化及治理專家蔡春久為大家帶來主數據管理從理論到工具層面的分享，全程干貨，深度解讀，以下是演講全文。
蔡春久：中國大數據技術標準推進委員會數據資產專家、中電標協企業信息標準化委員會常委委員、中國數據工匠俱樂部發起人。

今天晚上我分享的題目是《主數據標準化如何建設》，主要介紹國內主數據管理挑戰與趨勢、主數據管理的兩體系一平臺、主數據治理項目實施方法及難點分析。

主數據管理常遇到的問題和挑戰

首先我們來看看國內主數據管理的挑戰和趨勢。國內很多大型的集團企業做信息化已經做了10年以上，過程中難免會遇到很多數據質量問題，比如找數困難、數據不完整、數據標準缺失、數據不一致、用數門檻很高等。看似浮于水面的數據準確性問題，其根源是潛于水下的深層次數據治理問題，這才是制約科學化決策和業務管理提升的真正原因。

接下來我分別從常見的5種問題來說起。
①第一個就是信息缺失，比如產品、客戶、行業等信息缺失，會導致我們的記錄信息不足，風險管控失真，數據分析業務決策難度加大。
②第二個是口徑不一致，同一業務概念在不同系統中存儲的形式、概念范疇不一樣，同一個主數據多頭維護，導致各種數據質量問題，比如同名不同義、同義不同名等。
③第三個就是數據分散，比如在一個大型集團企業里，客戶信息分布于多個業務系統、業務數據分布于流程中各個節點，導致我們缺乏全貌的數據掌控，無法形成這個客戶的360度畫像，數據多次維護導致數據沖突。
④第四個就是信息重復，一個客戶對應多個客戶信息，這樣會導致統計錯誤，業務指標不能準確及時全面地同步，也難以確認權威的數據來源。
⑤第五個是信息孤島，不同部門、不同分公司、區域分支機構業務系統中的數據分層分散存儲，導致經營數據割據，數據匯總、流通困難。這是我們在整個信息化過程中常見的一些問題。

而且，我們缺乏企業級的視角做數據標準。比如說這是一個工字鋼，在工程部門、采購部門、設備部門的描述都有著很細微的差別，導致我們可能本來倉庫里已經有這個物料，但在物資采購中無法自動匯總，間接導致庫存成本較高，對各類統計報表分析也帶來很大困擾。其背后的原因是缺乏企業級的數據標準，導致跨部門跨組織跨業務單元跨板塊之間缺乏共享基礎。而且由于沒有屬于自己數據工具做支撐，數據質量無法保障，分散的數據也難以統一管理規劃。

下面我們來看主數據管理遇到的常見的四大挑戰。一是不重視主數據的總體規劃，缺乏頂層設計；第二個客觀原因是是通用標準主數據，比如國際標準、國家標準和行業標準產生的主數據，往往在國家層面，管理分散，缺乏便捷可靠的數據獲取渠道，數據獲取困難；第三個是企業內部原因，即企業內部已經存在分散管理的主數據，缺乏統一標準和數據關聯；第四個挑戰主要存在在一些大型集團化企業中，由于系統眾多、年代跨度久遠，一些早期的系統數據標準化程度不高，改造難度大、成本高，給主數據應用集成帶來較大的困難。

我們做企業數據管理的人員也會遇到一些常見的問題。第一個是“兩層皮”，很多標準并沒有真正落實到管理，體現在實踐中，平時束之高閣，比如很多編碼規范、主數據標準等，只有在每年總結匯報或者外部審核時才拋頭露面。第二個叫“夾生飯”，與企業管理實際脫節，制定標準可操作性較低，管理層操作層無所適從，難以指導信息化工作。第三個是“靠邊站”，數據治理、主數據管理”說起來重要、做起來次要、忙起來不要“，標準化管理在“工期緊、任務重”的壓力下，往往就是為業務系統實施讓路，阻礙了企業標準化管理。“兩層皮”、“”夾生飯”、“靠邊站”就是我們數據管理人員遇到的一些困難的真實寫照。

主數據相關術語及定義

接下來我們重點把主數據的一些術語定義進行簡要介紹。眾所周知，主數據是滿足跨部門業務協同需要的、反映核心業務實體狀態屬性的基礎信息。我們可以簡單這樣理解，兩個或兩個系統以上公用的技術數據叫主數據。主數據相對于交易數據而言，屬性相對穩定，準確性要求更高。主數據有三性：準確性、唯一性和在異構系統中的一致性。

主數據有5個明顯特征，我們稱作5個超越：

①超越部門。主數據是滿足跨部門業務協同需要的，是各個職能部門在開展業務過程中都需要的數據，是所有職能部門及其業務過程的“最大公約數據”。
②超越流程。主數據不依賴于某個具體的業務流程，但卻是主要業務流程都需要的，主數據的核心是反映對象的狀態屬性，它不隨某個具體流程而發生改變，而是作為其完整流程的不變要素。
③超越主題。主數據是不依賴于特定業務主題卻又服務于所有業務主題的有關業務實體的核心信息。
④超越系統。主數據管理系統是信息系統建設的基礎，應該保持相對獨立，它服務于但是高于其它業務信息系統，因此對主數據的管理要集中化、系統化、規范化。目前我們業內很多把主數據工具做成數據平臺的一部分，我覺得這也是可以理解的，一方面為我們前端的業務系統提供數據的一致性唯一性保障，另外也為我們的整個數據平臺、數據倉庫、數據中臺提供主數據的服務。
⑤超越技術。主數據必須應用一種能夠為各類異構系統所兼容的技術條件，從這個意義上講，面向服務架構（SOA）為主數據的實施提供了有效的工具。

舉一個這是一個組織機構，上面是基本視圖，包括單位名稱、性質、通訊地址等，基本視圖是較共性的。針對內部單位，會有人力資源部關心的一些字段，在人事視圖里就會有管理層級、人事單位層級等。而對于財務部來說，財務視圖里則包含控股比例、業務板塊等。

除了主數據間的關聯外，主數據內部也有上下級的層級關聯。比如物料中有大類中類小類，組織架構從公司到處室到崗位，這都是主數據內部的層級關系。這個層級關系也叫主數據。

下面是具體的一個應用場景。在一個工業企業中有一個設備，它的KKS碼信息包括安全等級、安裝位置、質保等級等；從物資供應鏈視角看，它涉及到這個物資的規格型號、材質等信息；從設備個體信息來看，它有購置時間、購置價值、制造商、序列號……同一個東西在不同的應用場景可能是不同的數據對象。通過關聯關系，可以提升主數據維護的效率，減少手工重復錄入和冗余存放，而不是簡單的手工表單電子化。

主數據管理體系

主數據管理涉及兩體系一平臺。我們首先講一下主數據的管理體系，它包含以下三個部分。
①主數據標準體系：是主數據管理工作的重中之重。它包含主數據業務標準（編碼規則、分類規則、描述規則等)、主數據模型標準；以及衍生出一套代碼體系表。
②主數據保障體系：涉及到主數據管理組織、制度、流程、管理、評價這五部分內容。
③主數據管理工具：包括數據建模、數據整合、數據管理、數據服務、基礎管理、標準管理等功能。

我們下面重點講一下主數據標準體系。主數據標準體系涉及三大塊內容：一塊是主數據的應用標準及規范，例如編碼規則、分類標準、命名規范、主數據模型、提報審核指南；第二塊是主數據管理標準規范，涉及到主數據的組織制度、規范管理流程等；第三塊是主數據集成服務標準及規范，主要包括主數據格式規范、原系統接入規范等。

在集團企業中，主數據種類有很多。最下面的是通用基礎類的，也叫參考數據，如行政區劃、幣種、語種等。一般大型集團里大概有四五十種通用基礎類數據。這類數據大部分是國標、行標，變化緩慢、基本上不變化。集團里也涉及到大量的人力資源、財務、客商等數據，還涉及到多元化的板塊，比如新能源、地產、金融等，部分板塊也會有板塊本領域內的一些數據。所以我們首先需要梳理這樣一個主數據資產目錄，這樣我們可以按照總部通用的每個專業板塊來進行主數據的推廣、應用。

主數據的應用標準主要有五大類。第一類是分類標準化，我們一般是按照自然屬性進行分類。第二類是是編碼規則，我們一般建議用流水碼做編碼規則。第三類是命名規范，主數據每類數據對象都有命名規范，在工業企業中這一塊是非常復雜的，待會兒我會詳細介紹。第四類是數據模型，也就是管理這個主數據在主數據系統有多少個字段。第五類是編制提報審核指南，用于指導主數據填報。這五類標準有的簡單有的復雜，如果是比較簡單的主數據對象，這幾個部分合在一個文檔里就可以，如果比較復雜的話，就需要分開單獨列文檔。

我們以資產密集型行業為例，比如能源、電力、石油石化、礦業等。首先按照數據對象全生命周期，工程設計部門設計的工程項目有工程材料編碼，到了采購部門就是物料編碼，到了法務部門就會涉及到物料代號，到了倉儲部門就是物料代碼，到了轉資環節這個就是固定資產編碼，到了生產運行階段涉及到設備管理和備份需求這個就又是物料代碼了。按照這個公司級架構，從工程材料編碼、到物料編碼、到整個工程資料編碼再到設備編碼，如果設備安裝位置不同還涉及到KKS碼，另外還有故障代碼等，碼的類型有很多。我們在管理的時候有三碼合一，也有六碼合一，六碼合一就是把一些故障碼以及KKS碼都算上，將最核心的這六類碼做一個關聯體系，這樣的話主數據就能互動起來。

接下來我們來看看固定資產、設備、物料之間差異點。固定資產是站在財務的視角來看的。設備往往是站在生產視角來看的。而物料，主要是作用于采購、銷售。生產和維修等環節。同樣一個對象，在整個供應鏈的不同環節可能要編不同的碼，需要建立起相互間的關聯關系。

物料在工業企業中是最為復雜的。物料數據有四類：物料分類、描述規則、編碼標準和填報指南。

在大型制造企業物料一般分為大類中類小類，以此來形成一本書，所有職能部門都需按照統一的自然屬性分類來進行統計分析。分類特別重要，往往哪個是牽一發而動全身，一般定下來之后不能輕易調整。

主數據的編碼規則（命名規范）是指，把物料按照自然屬性拆分描述。下面我們以線纜為例，它的自然屬性包括名稱、燃燒特性、電壓等級等，我們可以按照國標將其拆分，然后生成結構化的物料描述模板，統一描述格式，不會因人而異導致命名的差異。拆分出物料描述模板后就會形成非常規整的名稱，由系統自動生成，從而保證能通過名稱來確保物料的唯一性和準確性。

關于主數據的管理標準和規范，涉及到主數據管理的組織與制度、主數據管理流程、主數據應用管理和主數據管理評價。數據管理制度流程為主數據管理工作開展提供有效的依據和指導。是主數據管理與運營的重要保障。制度流程的合理性=正確的方法+可落地執行的保障。

凡是主數據做得好的企業，都有主數據相應的一些崗位，比如專家、審核、標準組，質量組等，來確保一整套主數據標準能夠正常運行。

主數據的集成服務標準也非常重要。因為主數據要為所有系統、所有用戶、所有業務部門都提供共享服務，其中就涉及到主數據的規范格式、集成數據的選擇標準等。明確主數據集成服務標準，能夠確保主數據能更好地提供服務。

主數據運營體系

我們接下來介紹一下主數據運營體系。運營體系涉及到主數據的管理組織、制度、流程及知識庫的建立，包括主數據管理平臺。

大型集團企業一般需要建立“總部—子集團/專業領域”二級維護的組織保障體系，重要數據均有對應的業務牽頭部門，這樣才能讓標準“保鮮”。下面是一個例子，主數據編碼由用戶提出申請，通過主數據管理平臺由業務部門做初審，然后再由專業團隊做專業審核，當然不同的數據對象會匹配不同的專業審核團隊。兩道審批過后，再進主數據編碼庫，通過各種形式對業務系統提供服務。所以我們要在企業中搭建這種兼任或者專職的團隊，來讓這種運營機制建立起來，從而確保主數據管理的持續性。另外還需制定主數據的維護細則，確保數據正常運行。

主數據管理平臺

傳統的主數據管理工具，包含了主數據采集、模型編碼管理、分發服務等功能。

主數據的服務架構，以集團企業為例，有通用基礎域、財務域、人力域等，還有一些專業領域比如房產、金融等領域的主數據，都可以通過數據服務平臺借助API對外提供共享服務。當然我們主數據源頭，有一部分來自業務系統，有一部分可能來自外部數據。比如工商主數據庫，可以通過企查查天眼查來做個比對。主數據平臺內置接口，業務系統如果要用主數據首先要通過這個接口來調用服務，從而保障對主數據系統的數據進行全域管理，再通過申請審批功能，來確保業務系統主數據的一致性、唯一性和準確性。

目前隨著這種大數的應用，僅僅管理靜態的字段可能并不能滿足業務部門的需求。新一代主數據管理平臺不僅僅是管理靜態字段，更多地是要管理基于數據對象的非結構數據、半結構數據，還有一些內外部相關的數據。也就是說，我們將數據作為大數據分析的起點，將大數據場景用于匹配多個數據域和提取業務見解。

對主數據進行多維度管理，可能就會慢慢的就模糊了原來靜態管理的概念。下面以石油化工行業的井/井筒為例，來看看新主數據管理。

井的數據全生命周期，包括井的部署設計、鉆前工程、鉆井工程等。在井的鉆井、錄井過程中，會涉及到鉆井的一些視頻、圖片數據，還有大量文檔數據。我們可以通過語義識別，把這些數據全部匯聚在一起。這樣我們可以看到井筒從開發到報廢的主數據全生命周期的過程，對于我們業務是有實質性幫助的。如果只管一個編碼、一個名稱，業務價值可能就體現不出來。我們未來做主數據一定是向這個方向發展，這樣更能解決業務的痛點，而不是僅僅管靜態的數據。

主數據服務需要引入數據服務總線和微服務網關，將做完之后的主數據發布到個API網關上面。主數據服務包括查詢、快速新增、運維、深度分析等。基于主數據對結構化數據、半結構化數據、非結構化數據的綜合分析能力，讓用戶一目了然更方便地看到所需的主數據對象。

目前國內很多世界500強企業又重新開始做主數據，原來的工具已經不能滿足他們的需求。我們就可以基于這樣一個數據一體化的平臺，再來做主數據建設工作。

主數據治理項目實施方法及難點分析

我們再來分享一下主數據怎么實施，有哪些難點。

我們把主數據分成7個階段，大概28個步驟。

這其中較難的就是做好主數據現狀的調研和分析，需要通過業務調研還有信息調研來判斷主數據的需求具體是怎樣的。第三階段主數據標準體系構建大概占到了整個工作量的30%。主數據標準也是動態變化而非一成不變的，主數據隨著管理顆粒度的不斷細化，主數據標準也會隨之動態調整。主數據清洗占了整個過程中很大的工作量，大概40%，有了主數據標準后，就要針對我們的業務系統進清洗。之后工具平臺要以服務的形式跟所有業務系統做對接集成。最后是主數據的運營體系建設。建立數據標準、數據清洗等大概半年時間就可以做完，但每個企業都不是一張白紙，不同企業做到的程度不一樣，有的新老系統切換路徑可能都需要三年五年甚至更長時間，這是風險難度最大的一件事情。所以說主數據項目開弓沒有回頭箭，項目一旦啟動，后面一期二期三期可能一做就是很多年。

主數據的貫標也是比較復雜的，尤其是在企業系統較多且比較重復的情況下。針對在建系統或者待建系統，須用我們建的標準直接貫標，相對比較容易。針對已建系統難度較大，一個方式是替換，將原來的主數據標準替換成最新的主數據；第二個是對照，對照不是特別好的方式，但有時候也沒辦法，一旦要對照的話，工作量也很大。

所以我們大致有三種方案。第一個就是系統重新上線，相當于重新做一次初始化，這個對企業其實還是有比較大影響的。第二種方案是對原系統做一次系統性調整，主要做新舊物碼的轉換。方案三就是做原系統分階段調整，這個調整也不是最佳方案，需要以時間來換空間。

所以說主數據貫標的難度是特別大的。如果一個集團公司系統特別多的話，可能需要兩三年甚至更長的時間來逐步將這一套標準在各個系統里落地。

小結

今天我們要講的內容就到這里。我簡單總結下，主數據是數據之源，是數據資產管理的核心，是數據中的黃金數據，也是信息系統互聯互通的基石，是信息化和數字化的重要基礎。做好主數據治理，能為數據分析、數據入湖建立非常重要的基礎。主數據是跟我們業務系統緊密聯系在一起的，只有做好主數據才能為大數據分析建立更好的基礎。