01 數據治理VS數據管理

在本文開始之前，先解答一個常見疑問，即數據治理與數據管理的關系。雖然當前數據治理的詞頻熱度高于數據管理，但數據治理只是數據管理的一部分。不管是軟件能力成熟度模型集成協會（CMMI）發布的數據管理成熟度模型(DMM)，還是數據管理協會(DAMA)發布的數據管理知識體系(DMBOK)，都有相關說明，比如DMM明確了數據管理工作體系框架，包括數據戰略、數據質量、數據運營、平臺和架構、數據治理等5大核心域。

雖如此，但數據治理是數據管理不可或缺的重要組成部分。數據治理強調如何讓數據資產長期、可持續的發揮價值，因此需要明確職責、流程、權限角色、規范、標準等。

而數據管理范圍更廣，強調通過人員、流程、技術等方面的協同實現公司層面的數據共享并充分發揮數據價值，數據管理貫穿數據生成、存儲、使用、共享、歸檔、銷毀的全生命周期。不同類型的數據比如元數據、主數據等都需要數據治理。

02 數據分類與主數據概念

在理解主數據、解決數據問題之前，首先，我們要明確到底有哪些數據或哪幾類數據？當然，數據按照不同維度、不同語境可以分為不同的類，比如結構化和非結構化化、交易和非交易數據、行業數據和公司數據等。從數據治理或信息化項目的角度，數據一般分為：數據元、元數據、主數據、參考數據、常規數據等。

數據（data）：根據《信息技術數據元的規范和標準化》(GB/T18391.1-2002)，數據是指對事實、概念或指令的一種形式化標示，適用于以人工或自動方式進行通信、解釋和處理。

數據元（data?element）指用一組屬性描述定義、標識、表示和允許值的數據單元。在特定的語境中，可以認為是不可再分的最小數據單元，也可以直觀理解為數據庫表的列，對象、特征、表達是數據元的三要素，比如“今天股市收盤是2500點”數據元，其中“今天股市”就是對象，“收盤”是特性，“2500”是表達。

元數據（MetaData）指描述數據的數據，也指幫助查找、存取、使用和管理信息資源的信息。為便于理解元數據和數據元，作者舉個例子，比如我們要向中證金融報送兩融數據，數據報送接口規范中有許多表，每個表有許多列，每個列有填報要求比如類型、是否為空。每個填報字段可以認為是數據元，而每個填報字段的填報要求可以認為是該字段的元數據，而每個字段可以認為是該表的元數據。也即數據元和元數據本身也是數據，在不同的上下文有不同的定義和理解，本身都是個相對的概念，意識到這點才能很好理解兩者的關系。現實中，元數據常見用于描述數據庫中所有數據的語境，而數據元通常用在行業標準制定。

參考數據（reference?data）指數據可能的取值范圍及其解釋，也即我們常說的數據字典。數據字典雖然很好理解，但行業現實中，由于每個系統有不同的數據字典，甚至同一系統內也有不同數據字典，而且沒有統一標準，間接造就了大量的數據孤島，也需要加強治理。

常規數據（作者自己定義），是與每日業務開展或每個業務人員最為關注的那些數據，比如交易、審計、采購訂單、銷售訂單、報表等等數據，

主數據（master?data），通常是不隨或很少隨時間變化的靜態數據，并且與個體活動或流程無關，比如客戶、證券標的、金融產品、會計科目等信息，這些信息構成了公司的業務。主數據掌控交易數據如何被處理并決定著決策的精準度。主數據管理，本質上是各業務人員利用IT工具進行協作，來協調、清理、發布和保護企業需要共享的數據資產，保證企業核心信息的一致、準確和安全。主數據也是大數據建設中的重點內容。

為便于大家只管理解四類數據區別，畫了一個見圖如下，

元數據和參考數據一般與系統或數據庫底層設計有關，相對變化頻率非常低；而主數據與技術有關，與業務關系更為密切，相對變化頻率較低，也是常規數據的基礎；而常規數據則變化頻繁，只要展業基本都會累加，且實時性要求較高。基于以上分類和分析，作者認為，由于主數據與業務聯系緊密且是一般數據基礎，加上又有一定變化（頻率很低），數據治理的重點領域是上述四類數據中的主數據，這應該也是SAP、ORACLE等國際巨頭反復打磨并推出主數據管理解決方案的原因。

03 主數據管理的難點

主數據管理意義非凡，但是在實踐和實施方面還是存在很多的難點，突出表現在以下幾個方面：

1）認知不統一，不重視主數據的總體規劃，缺乏頂層設計，無法在單位決策層、管理層和業務層等各層級統一思路。

2）各職能部門各自為政，難以在標準和規則層面達成一致，致使主數據代碼標準難統一。

3）通用標準主數據（國際標準、國家標準和行業標準產生的主數據）管理分散，缺乏便捷可靠的數據獲取渠道，數據獲取困難。

4）單位內部已經存在且分散管理的主數據，由于缺乏統一標準和數據關聯，大量的數據清洗依靠人為判斷，數據清洗難度和風險都很大。

5）企業歷史系統和歷史數據的數據標準化程度不高，數據清洗難，改造成本高，給主數據系統集成造成較大困難。主數據管理進程需要修改現有的相關生產業務過程和系統，需要從管理學的角度充分調動業務部門密切配合，對組織的業務運營效率和信息決策周期要求較高。

6）主數據管理模式要求業務間有表單數據交換，因此短期內會使得信息架構發生變化，甚至變得更加復雜。

04 主數據管理實施方法

主數據實施要點主要包含主數據規劃、制定主數據標準、建立主數據代碼庫、搭建主數據管理工具、構建運維體系及推廣貫標六大部分，其中主數據規劃是綱領、制定主數據標準是基礎、建立主數據主數據代碼庫是過程、搭建主數據管理工具是技術手段、構建運維體系是前提，推廣貫標是持續保障。

主數據規劃：運用方法論并結合企業實際情況，制定主數據整實施路線圖。

主數據規劃強調將需求分析與系統建模緊密結合，需求分析是系統建模的基礎，而業務調研又是需求分析的前提。

在主數據規劃咨詢的過程中需要參照標準，主要參照的標準有國際標準、國家標準、行業標準、企業標準，確保企業的主數據規劃咨詢后能夠既符合國家相關規定，又具備企業行業特色。

通過現狀調研和需求分析等前期工作輸出主數據規劃成果，該成果主要包括主數據標準化體系架構、主數據集成架構、主數據安全架構（數據脫敏、數據權限）以及運營管理架構（組織、制度、流程、管理規范、質量管理措施等）等內容，此外主數據規劃階段的關鍵活動是對成果、體系的宣貫，通過宣貫讓企業的各級管理人員及員工及時掌握相應的標準、規范，確保整個體系的梳理運行。

制定主數據標準：確定數據范圍，與業務部門共同制定主數據標準， 標準內容包括確定分類規范、編碼結構、數據模型、屬性描述等。

制定主數據標準是建立主數據代碼庫的基礎工作，保障主數據管理工具開發運維以實現系統之間數據共享的前提，也是主數據管理組織及流程順利開展的關鍵階段。制定主數據標準一般遵循簡單性、唯一性、可擴展性等相關原則，既要方便當前應用系統的需求，又要考慮未來信息系統發展的需求，此外，制定主數據標準還要根據業務需求的緊急程度分期建設。

主數據制定的過程參考：

1）在理解企業信息化整體規劃的基礎上，開展主數據標準現狀調研，梳理相關業務流程。

2）選取組織架構、業務范圍等類似的優秀企業作為標桿進行對比分析，歸納核心管理領域和業務領域的主數據管理需求，確定數據范圍和組織范圍。

3）要根據各類主數據的特點并結合企業實際情況，與相關業務部門共同討論制定滿足企業應用需求的主數據標準，標準內容主要包括分類規范、編碼結構、主數據模型、描述模板、屬性取值等。

業務標準的分類是基礎，科學合理的分類是制定標準成功的保障，描述標準是數據信息在標準化系統校對的主要依據，其信息的描述是由各信息的屬性字段連接而成，可針對數據分類建立標準化的描述模板，有效避免一物多名現象。

建立主數據代碼庫：按照主數據標準進行數據檢查、數據排重、數據編碼、數據加載等，建立符合數據標準和規范的主數據代碼庫。

建立主數據代碼庫的制定方法可參考以下步驟，第一，確定代碼結構；第二，調研、收集各類代碼標準；第三，分析、優選各類代碼標準并提出規劃制定建議；第四，編制規則征求意見；第五；征求部門意見以完善和確認規則；最后，提交規則送審稿。

搭建主數據管理工具：建設主數據管理工具，為主數據的管理提供技術支持，實現主數據查詢、申請、修改、審核、發布、凍結、歸檔等全生命周期管理。

構建運維體系：建立主數據管理和標準管理的運維組織、管理流程、考核機制等，保證主數據標準規范得到有效執行。

推廣貫標：統一執行主數據標準規范，擴大主數據標準的應用范圍，實現信息系統間的互聯互通及共享利用。

05 主數據管理工具

主數據管理工具是主數據標準文本發布、主數據全生命周期管理的重要平臺。主數據標準的維護流程和管理措施通過管理平臺進行系統實現和控制，以保證標準的唯一性和宣貫的及時性。

主數據管理工具主要包括數據建模、數據整合、數據管理、數據服務基礎管理、標準管理等功能模塊。

1）主數據建模：主要以主數據標準體系為基準，通過可視化建模工具，定義主數據對象、編碼規則、屬性值和控制流程等基礎要素，構建主數據標準模型。

2）主數據整合：主要利用數據清洗工具及擴展功能，將各系統生成的主數據進行匯集、依據主數據標準和主數據模型定義的規則進行校驗、清洗、發布，實現對主數據的全生命周期管理，并整合出統一的、可信任的主數據。

3）主數據管理：按照標準主數據管理規程的要求，通過嚴格的管理流程，實現主數據創建、審批、發布、修改、凍結和失效等全生命周期管理以及數據字典的管理維護，確保數據的一致性、準確性、實時性和權威性。

4）主數據存儲和服務：主數據平臺發布的基準數據，集中存儲于主數據基準庫，提供在線查詢和訂閱功能，并通過流程驅動和消息驅動的標準接口提供數據共享服務。

5）標準文件資料管理：利用外部公共文檔管理系統或內置管理功能，實現標準文件和相關資料的存儲管理、版本管理和標準目錄管理，配置智能化搜索引擎，實現智能、快捷、精確高效的查詢檢索功能。

6）基礎管理：主要實現對系統中的基礎數據進行設置，配置靈活、安全可靠的權限管理及日志管理，包括用戶、用戶組、角色、資源、流程配置等，以及對各類主數據的進行統計分析，為主數據應用評價提供有力支撐。

06?主數據管理的建議

1、組織架構

如果說數據治理不是技術部門或某一個部門的職責，那么主數據管理更是如此。通過在公司層面成立數據治理小組或機構，比如內嵌在IT治理委員會之中，明確不同部門的主數據管理工作職責，形成主數據管理敏捷團隊；建立統一的主數據管理使用規范，合法利用外部數據。

2、建章立制

建立覆蓋主數據全生命周期的制度和流程，比如《主數據管理流程》《主數據管理辦法》《數據治理制度》等；明確主數據管理相關的清晰角色和職責，建立KPI考核機制。

3、立即行動

主數據管理和經營機構大小無關，且機構越大，主數據管理補起課來，越費力。當然，也不能指望監管機構先出臺行業標準或指南，而公司、集團、各個部門在一開始就意識到主數據管理的重要性。需要強調的是，主數據治理與業務關系密切，需要所有業務部門人員參與。

4、系統管理

即便是同一行業，不同公司對主數據的定義也不可能完全一樣，主數據的實際范圍需要結合公司實際應用和需要來商定。如果主數據管理工作較重或主數據管理已經很精細化，則有必要借助平臺或系統來完成主數據的申請、確認、審批、發布等流程。

（本文部分文字內容來源金融科技之道和清水釣翁）