- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-04-14來源:21尐傻瓜瀏覽數:333次
導讀
本文介紹了主數據的概述,包括主數據的定義、特征、類型、和其他數據的關系,主數據管理的意義,主數據管理的實施痛點,主數據管理的內容,主數據的管理實施方法以及項目實施示例等內容,為對主數據和數據管理有研究興趣的朋友提供了一定的參考。
一、主數據管理概述1.1. 主數據的定義
在數據管理領域,對于主數據的概念和定義有不同的解釋和說明。參照標準和規范定義,本文采用國際數據管理協會DAMA在《DAMA數據管理知識體系指南》一書中對主數據的定義進行說明。
主數據是關于業務實體的數據,這些實體為業務交易提供關聯環境。業務規則通常規定了主數據格式和允許的取值范圍,一般組織的主數據包括當事人、產品、財務結構和位置等。
主數據是關于關鍵業務實體權威的、最準確的數據,可用于建立交易數據的關聯環境。主數據值被認為是“黃金”數據,主數據相對交易數據而言,屬性相對穩定,準確度要求更高,唯一識別。
1.2. 主數據的特征
相比于其他數據,主數據具有如下特征:
1)超越部門,主數據是所有部門和所有業務過程的最大公約數據;
2)超越流程,主數據不隨具體流程而改變,而是作為完整流程的不變因素。
3)超越主題,不依賴特定業務主題卻又服務于所有業務主題的有關業務實體信息;
4)超越系統,主數據管理作為單獨的系統存在,服務于但高于其他業務系統;
5)超越技術,主數據必須應用一種能夠為各類異構系統所兼容的技術條件,面向微服務架構為主數據的實施提供了有效的工具。
1.3. 主數據的類型
主數據主要包括配置型主數據和核心主數據。
1)配置型主數據:配置型主數據,也稱為參考數據,是描述業務或核心主數據屬性分類的參考信息,會在整個組織內共享使用。一般依據國際標準、國家標準、行業標準或企業標準和相關規范等,在系統中一次性配置使用的基礎數據,例如國家、民族、性別等規范性表述。配置型主數據相對穩定,不易變化。
2)核心主數據:核心主數據指用來描述企業核心業務實體的主數據,是企業核心業務對象、交易業務的執行主體,如產品、物資、設備、組織機構、員工、供應商、客戶、會計科目等。
1.4. 主數據與其他數據的關系
在《DAMA數據管理知識體系指南》一書中,將數據管理領域知識體系概括為十個大的方面,分別是數據架構管理、數據開發、數據操作管理、數據安全管理、參考數據和主數據管理、數據倉庫和商務智能管理、文檔和內容管理、元數據管理、數據質量管理和數據治理等。主數據管理與參考數據管理作為最核心的業務內容,在數據管理體系,以及提高數據質量,構建企業數據資產的過程中發揮著巨大的作用。

主數據及主數據管理往往和其他已有的概念混在一起,從而影響人們對主數據與主數據管理的本質的認識。本文將主數據與元數據、主數據與交易數據、主數據與參考數據這三個概念進行區別和聯系。

1)主數據與元數據
主數據和元數據是兩個完全不同的概念。元數據是指公司數據資產管理的基礎,是關于“數據的數據”,例如數據類型、數據定義、數據關系等,相當于數據表格中的表頭信息,是一個相對客觀的概念。而主數據是從元數據中挑選出來的,表征公司業務運行的關鍵、通用型數據,是一個相對主觀的概念。它不僅僅只是表頭信息,而是包括實例數據。例如公司的產品列表、客戶列表、分公司地址信息等。
2)主數據與交易數據
交易數據也是基于元數據衍生而來的,反應公司實時業務記錄的數據,同樣是實例數據。主數據是相對穩定的,靜止不變或者是一段時間內靜止不變的數據,而交易數據則是實時變化的數據,往往描述的是某一個時間點所發生的交易行為。例如客戶訂單、存貨跟蹤、銷售記錄、售后事件等。
一個主數據可能會跟多個交易數據有關聯,而一個交易數據可能又會對主數據產生影響。舉例來說,航空公司中,“客戶本年度飛行里程”是一個主數據,而“客戶每次飛行記錄”,則是交易數據,當交易數據“客戶每次飛行記錄”累積到一年時,主數據“客戶本年度飛行里程”便會產生更新。
3)主數據與參考數據
參考數據是用于將其他數據進行分類或者目錄整編的數據。業務規則通常規定參考數據值是幾個允許值之一。允許值的數據集是一個值域。有些組織根據內部業務定義參考數據的值域,其他參考數據的值域可由像政府或行業標準等外部資源來定義。多組參考數據的值域可以指向同一個概念域。每個值在其所在的值域集是唯一的。用通俗的術語表述,參考數據也可以叫做數據字典、代碼集等。
企業為了進行更有效率的數據整合、數據共享和數據分析應用,開始嘗試對參考數據進行企業或者部門層面的整合和管理,利用參考數據集記錄系統嘗試為范圍內的IT系統中的數據庫提供統一的參考數據。參考數據是對數據的解釋針對一些數據范圍和取值的數據解釋,讓人們容易讀取相關的數據。
在政務數據應用領域,廣義的參考數據體現在參考數據集記錄系統、政務信息資源目錄系統、代碼集系統、數據圖書館等系統方面,廣義的主數據體現在數據融合建倉的過程中,一般政務數據項目會建設包括人口、法人、房屋、電子證照、社會信用、空間地理等主數據,也稱基礎庫。
在實操中,參考數據管理和標準實施一般是和主數據管理項目一起實施。
二、主數據管理的意義
主數據是數據之源,是數據資產管理的核心,是信息系統互聯互通的基石,是信息化和數字化的重要基礎。通過構建準確、唯一、權威的數據來源建立企業主數據標準管理體系,是提高企事業單位數據質量和數據資產價值的關鍵因素。良好的主數據管理對于企業數據資產體系建設,通過數據驅動發展,構建未來發展與競爭的核心競爭力,具有重要意義。
1)?? 消除數據冗余,提升數據質量:主數據打通各業務鏈條,統一數據語言,統一數據標準,實現數據共享,最大化消除了數據冗余,提升數據質量。
2)?? 提升數據處理效率:通過主數據管理可以實現數據動態自動整理、復制,減少人工整理數據的時間和工作量。
3)?? 數據驅動,提高公司戰略協同能力:數據作為公司內部經營分析、決策支撐的“通行語音”,實現多個部門統一后,有助于打通部門、系統壁壘,實現信息集成與共享,提高公司整體的戰略協同力。
4)?? 完善IT系統架構和企業數據架構,助力數據應用和管理:通過主數據建設,將為企業在數據應用與管理奠定基礎。從 IT 建設的角度,主數據管理可以增強 IT 結構的靈活性,構建覆蓋整個企業范圍內的數據資產管理基礎和相應規范,并且更靈活地適應企業業務需求的變化。此外,主數據質量的提高也能夠為后期數據集成和數據整合打下良好的基礎。
三、主數據管理的實施痛點
主數據管理意義非凡,但是在實踐和實施方面還是存在很多的難點,突出表現在以下幾個方面:
1)認知不統一,不重視主數據的總體規劃,缺乏頂層設計,無法在單位決策層、管理層和業務層等各層級統一思路;
2)各職能部門各自為政,難以在標準和規則層面達成一致,致使主數據代碼標準難統一;
3)通用標準主數據(國際標準、國家標準和行業標準產生的主數據)管理分散,缺乏便捷可靠的數據獲取渠道,數據獲取困難;
4)單位內部已經存在且分散管理的主數據,由于缺乏統一標準和數據關聯,大量的數據清洗依靠人為判斷,數據清洗難度和風險都很大;
5)企業歷史系統和歷史數據的數據標準化程度不高,數據清洗難,改造成本高,給主數據系統集成造成較大困難;主數據管理進程需要修改現有的相關生產業務過程和系統,需要從管理學的角度充分調動業務部門密切配合,對組織的業務運營效率和信息決策周期要求較高。
6)主數據管理模式要求業務間有表單數據交換,因此短期內會使得信息架構發生變化,甚至變得更加復雜。
四、主數據管理的內容
主數據管理的主要內容包括“兩體系、一工具”,即主數據管理標準體系、主數據管理保障體系和主數據管理工具。其中,主數據管理標準體系是主數據管理工作的重中之重,主數據管理保障體系為主數據管理保駕護航,主數據管理工具確保主數據管理有效落地。
4.1. 主數據管理標準體系
主數據標準管理體系包含業務標準(編碼規則、分類規則、描述規則等)、主數據模型標準。主數據標準管理體系在建設梳理的過程中,一般會衍生出一套代碼體系表或稱主數據資產目錄。
1)主數據業務標準是對主數據業務含義的統一解釋及要求,包括主數據來源、主數據的管理級次、統一管理的基礎數據項、數據項在相關業務環境中產生過程的描述及含義解釋、數據之間的制約關系、數據產生過程中所要遵循的業務規則。主數據業務規則包含主數據各數據項的編碼規范、分類規則、描述規則等。
2)主數據模型標準包含:主數據邏輯模型和主數據物理模型。主數據邏輯模型主要是通過實體關系圖倆表示,ER圖,主數據物理模型,也成為主數據的物理存儲結構表。
3)主數據代碼體系表:在某些領域內,又稱主數據資產目錄。是描述企事業單位信息化建設過程中所使用的主數據代碼種類、各類主數據代碼名稱、代碼屬性(分類、明細、規則等)、采(參)標號及代碼建設情況的匯總表,是企業主數據代碼查詢和應用的依據,同時也是主數據代碼的全局性和指導性文件。主數據代碼體系表主要結合了企業的經營管理特點,服務于企業信息化建設,主要包括兩部分內容,第一是企業信息代碼體系表的框架結構以及分類,第二是所有分類下的信息代碼標準明細以及建設情況。
如政府數據應用領域的政務信息資源目錄體系。
4.2. 主數據管理保障體系
主數據管理保障體系包括主數據管理組織、制度、流程、應用及管理評價五部分。
1)主數據管理組織
主數據管理組織主要包括企業內各類主數據的管理組織架構、運營模式、角色與職責規劃,通過組織體系規劃建立明確的主數據管理機構和組織體系,落實各級部門的職責和可持續的主數據管理組織與人員。
主數據管理組織結構包括決策層、管理層和執行層。
2)主數據管理制度
主數據管理制度規定了主數據管理工作的內容、程序、章程及方法,是主數據管理人員的行為規范和準則,主要包含各種管理辦法、規范、細則、手冊等。主要包括《主數據管理辦法》、《主數據標準規范》、《主數據提案指南》、《主數據維護細則》、《主數據管理工具操作手冊》等。
3)主數據管理流程
提供梳理數據維護和管理流程,建立符合企業實際應用的管理流程,保證主數據標準餓到有效執行,實現主數據的持續長效治理。主數據管理流程可以以管理制度的方式存在,也可以直接嵌入到主數據管理工具中。
主數據管理流程包括主數據業務管理流程(主數據的申請、校驗、審核、發布、變更、凍結、歸檔等進行全生命周期管理)、主數據標準管理流程(對主數據標準的分析、制定、審核、發布、應用與反饋等流程)、主數據質量管理流程(主數據的創建、變更、凍結、歸檔)等。
4)主數據應用
主數據應用主要包含三部分內容:明確管理要求、實施有效的管理、強化保障服務。
5)主數據管理評價
主數據管理評價是用來評估及考核主數據相關責任人職責的履行情況及數據管理標準和數據政策的執行情況,通過建立定性或定量的主數據管理評價考核指標,加強企業對主數據管理相關責任、標準與政策執行的掌控能力。
主數據管理評價指標從管理標準、數據認責和數據政策三個角度考慮,由數據所有人與數據認責人共同確定,定義一系列的衡量指標和規則,一方面落實和檢查主數據的應用情況,另一方面考察和評估主數據管理、主數據標準、主數據質量的執行情況。

4.3. 主數據管理工具
主數據管理工具是主數據標準文本發布、主數據全生命周期管理的重要平臺。主數據標準的維護流程和管理措施通過管理平臺進行系統實現和控制,以保證標準的唯一性和宣貫的及時性。

主數據管理工具主要包括數據建模、數據整合、數據管理、數據服務基礎管理、標準管理等功能模塊。

1)主數據建模:主要以主數據標準體系為基準,通過可視化建模工具,定義主數據對象、編碼規則、屬性值和控制流程等基礎要素,構建主數據標準模型。
2)主數據整合:主要利用數據清洗工具及擴展功能,將各系統生成的主數據進行匯集、依據主數據標準和主數據模型定義的規則進行校驗、清洗、發布,實現對主數據的全生命周期管理,并整合出統一的、可信任的主數據。
3)主數據管理:按照標準主數據管理規程的要求,通過嚴格的管理流程,實現主數據創建、審批、發布、修改、凍結和失效等全生命周期管理以及數據字典的管理維護,確保數據的一致性、準確性、實時性和權威性。
4)主數據存儲和服務:主數據平臺發布的基準數據,集中存儲于主數據基準庫,提供在線查詢和訂閱功能,并通過流程驅動和消息驅動的標準接口提供數據共享服務。
5)標準文件資料管理:利用外部公共文檔管理系統或內置管理功能,實現標準文件和相關資料的存儲管理、版本管理和標準目錄管理,配置智能化搜索引擎,實現智能、快捷、精確高效的查詢檢索功能。
6)基礎管理:主要實現對系統中的基礎數據進行設置,配置靈活、安全可靠的權限管理及日志管理,包括用戶、用戶組、角色、資源、流程配置等,以及對各類主數據的進行統計分析,為主數據應用評價提供有力支撐。
五、主數據的管理實施方法
主數據實施要點主要包含主數據規劃、制定主數據標準、建立主數據代碼庫、搭建主數據管理工具、構建運維體系及推廣貫標六大部分,其中主數據規劃是綱領、制定主數據標準是基礎、建立主數據主數據代碼庫是過程、搭建主數據管理工具是技術手段、構建運維體系是前提,推廣貫標是持續保障。

1)主數據規劃:運用方法論并結合企業實際情況,制定主數據整實施路線圖。
主數據規劃強調將需求分析與系統建模緊密結合,需求分析是系統建模的基礎,而業務調研又是需求分析的前提。
在主數據規劃咨詢的過程中需要參照標準,主要參照的標準有國際標準、國家標準、行業標準、企業標準,確保企業的主數據規劃咨詢后能夠既符合國家相關規定,又具備企業行業特色。
通過現狀調研和需求分析等前期工作輸出主數據規劃成果,該成果主要包括主數據標準化體系架構、主數據集成架構、主數據安全架構(數據脫敏、數據權限)以及運營管理架構(組織、制度、流程、管理規范、質量管理措施等)等內容,此外主數據規劃階段的關鍵活動是對成果、體系的宣貫,通過宣貫讓企業的各級管理人員及員工及時掌握相應的標準、規范,確保整個體系的梳理運行。
2)制定主數據標準:確定數據范圍,與業務部門共同制定主數據標準, 標準內容包括確定分類規范、編碼結構、數據模型、屬性描述等。
制定主數據標準是建立主數據代碼庫的基礎工作,保障主數據管理工具開發運維以實現系統之間數據共享的前提,也是主數據管理組織及流程順利開展的關鍵階段。制定主數據標準一般遵循簡單性、唯一性、可擴展性等相關原則,既要方便當前應用系統的需求,又要考慮未來信息系統發展的需求,此外,制定主數據標準還要根據業務需求的緊急程度分期建設。
主數據制定的過程參考:
1)在理解企業信息化整體規劃的基礎上,開展主數據標準現狀調研,梳理相關業務流程;
2)選取組織架構、業務范圍等類似的優秀企業作為標桿進行對比分析,歸納核心管理領域和業務領域的主數據管理需求,確定數據范圍和組織范圍。
3)要根據各類主數據的特點并結合企業實際情況,與相關業務部門共同討論制定滿足企業應用需求的主數據標準,標準內容主要包括分類規范、編碼結構、主數據模型、描述模板、屬性取值等。
業務標準的分類是基礎,科學合理的分類是制定標準成功的保障,描述標準是數據信息在標準化系統校對的主要依據,其信息的描述是由各信息的屬性字段連接而成,可針對數據分類建立標準化的描述模板,有效避免一物多名現象。
3)建立主數據代碼庫:按照主數據標準進行數據檢查、數據排重、數據編碼、數據加載等,建立符合數據標準和規范的主數據代碼庫。
建立主數據代碼庫的制定方法可參考以下步驟,第一,確定代碼結構;第二,調研、收集各類代碼標準;第三,分析、優選各類代碼標準并提出規劃制定建議;第四,編制規則征求意見;第五;征求部門意見以完善和確認規則;最后,提交規則送審稿。
4)搭建主數據管理工具:建設主數據管理工具,為主數據的管理提供技術支持,實現主數據查詢、申請、修改、審核、發布、凍結、歸檔等全生命周期管理。
5)構建運維體系:建立主數據管理和標準管理的運維組織、管理流程、考核機制等,保證主數據標準規范得到有效執行。
6)推廣貫標:統一執行主數據標準規范,擴大主數據標準的應用范圍,實現信息系統間的互聯互通及共享利用。
六、主數據管理的項目實例
主數據管理涉及到企業最核心的業務流程、交易數據和數據資產,關系到企業生產經營的方方面面。所以注定主數據管理的實施建設是一個持續長期的過程,結合業內的實施經驗,主數據管理項目的實施策略一般為:整體制定標準、分步建設系統、先基礎、后深化。
上文提到主數據實施要點主要包含主數據規劃、制定主數據標準、建立主數據代碼庫、搭建主數據管理工具、構建運維體系及推廣貫標六大部分,結合到實際具體項目過程中,則需要將主數據管理和項目過程管理的知識與經驗結合起來。下面是對某個主數據實施項目的項目過程階段劃分和實施計劃安排。該項目主要分為三個階段。
第一階段:主要工作內容包括標準化制定、主數據平臺基本模塊建設、數據初始化清理與導入等;
第二階段:主要工作內容包括完善主數據平臺建設、部分系統對接、數據監控與統計分析等;
第三階段:主要工作內容包括擴大主數據范圍、接入更多系統、信息展示層建設等;
以下是主數據項目實施計劃實例:
1)乙方項目組:

2)甲方項目組:

下圖是中外運主數據管理功能架構圖。

下圖是中外運主數據標準體系。

七、參考文檔
?《DAMA數據管理知識體系指南》-DAMA協會
?《主數據管理實踐白皮書1.0》-中國信通院
?《Oracle主數據管理解決方案》
