- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-05-20來源:最美的情緒瀏覽數:448次
本文主要分為6個部分,第一部分主要是介紹企業現在的主數據管理現狀;第二部分,總結下主數據的定義和特性;第三部分介紹主數據管理的意義和價值在哪里;緊接著第四部分說說主數據管理這樣的一個項目建設,它的體系是怎樣的;接下來第五部分就是本文的重點,即主數據管理實施方法論的介紹;最后第六部分介紹下主數據管理的成功案例。
1.企業目前的數據架構
眾所周知,在大部分企業的發展過程中,隨著業務的擴張,企業的業務系統會越建越多。與此同時伴隨著各業務系統的交叉,會出現一些公共的數據,如圖所示,它會被不同的業務系統調用,當調用關系越來越復雜時,一旦有一個地方數據出現問題,它可能會蔓延到更多的系統里,從而出現更多的問題。而更嚴重的問題是很難溯源找到背后的原因。

因此我們需要去做主數據管理工作,搭建一個主數據平臺,通過這樣的一個平臺去統一管理主數據,統一進行分發,從而將錯綜復雜的關系簡單化。最終我們只需要管理好主數據,就能提高數據的調用效率,也能支撐企業的業務經營管理。
2.先進企業歷程分享
接下來,我們分享一個先進企業的主數據建設歷程。如圖所示,這是一家石油企業前后花了10年時間做的物料主數據管理,從最開始的10個子類擴展到最后的56個大類,數據也從10萬條增加到300萬條,這樣龐大的數據如果要做一些精細化管理肯定是比較有難度的。

所以這家石油企業通過主數據管理,去實現集團的集中管控,比如像與物料相關的一些監控表,從原來的月報變成了實時可查詢的統計,這樣能幫助企業提高決策的時效性;同時與物料有關的采購也節約了500多個億。這樣的主數據管理給企業帶來的成效是非常大的。
1.主數據的定義
主數據是指滿足跨部門業務協同需要的,反映核心業務實體狀態屬性的基礎信息。舉個例子,公司的員工信息,存在于很多業務系統里,比如人力系統、財務系統、OA系統,以及考勤系統等,但每個系統所需要的信息可能不一樣,財務系統需要員工開放信息,比如從哪個銀行開戶,賬號是什么,這樣方便打款;人力系統可能只是需要員工的一些入職信息。

這樣的員工信息就屬于主數據,它在很多企業業務系統被使用,同時還能反映這個員工本身的一些屬性。類比下,還有產品、物料、客商、客戶、供應商等主數據。
2.哪些數據是主數據?
一家企業不只有主數據,還有一些其他數據,這里有一個金字塔結構的企業數據模型,包括關鍵的基礎數據、主數據、業務數據、報表數據。

基礎數據可以理解為基本不會發生什么變化的,比如國家貨幣計量單位,其他維表數據等,其數據就是一些取值范圍,也稱其為參考數據;主數據就是長期穩定的,能被多個系統使用的,比如組織機構人員、客商等;業務數據是指一些業務交易系統所產生的數據,包括訂單的記錄、還有一些考勤記錄等,與主數據捆綁的比較緊;報表數據是基于下面三類數據做的一些分析呈現,報表數據的主要作用是通過結果呈現來做預測工作。
3.主數據、業務數據與元數據的區別

如圖所示,表頭就是元數據,這些字段本身描述了字段的一些屬性信息;而主數據其實就是這樣的一條記錄,這條記錄可以劃分為兩部分,一部分是主數據,描述核心業務實體屬性的數據,另外一部分就是主數據在業務交易過程中由系統產生的數據,比如這塊的訂單數據就是業務數據。總的來說,所有這些數據作為企業的一部分,只要能產生價值,它都可以稱之為數據資產,能去支撐企業上層的生產、財務、項目管理等。
4.主數據的4個特性
(1)唯一性:在一個系統、一個平臺甚至一個企業范圍內同一主數據要求具有唯一的識別標志(代碼、名稱、特征描述等),用以明確區分業務對象、業務范圍和業務的具體細節。
(2)共享性:主數據特征會被作為業務流程的判斷條件和數據分析的具體維度層次,因此需保證主數據的關鍵特征在不同應用、不同系統中的高度一致共享,形成統一規范 。
(3)穩定性:主數據作為用來描述業務操作對象的關鍵信息,在業務過程中其識別信息和關鍵的特征會被交易過程中產生的數據繼承、引用、復制,但主數據本身的屬性通常不會隨交易的過程所被修改。
(4)有效性:只要該主數據所代表的業務對象仍然在市場中繼續存在或仍具有意義,則該主數據就需要在系統中繼續保持其有效性,通常貫穿該業務對象在市場上的整個生命周期甚至更長。
前面我們說完了主數據的4個特性,我們再來看看主數據若是出現問題,會對業務造成什么樣的影響。如圖所示,這兩條數據是同一個物料嗎?

我們可以看到這里少了一個度,并且編碼是不一樣的,但從這個主體來說,它是 同一個物料,但是卻存在兩條記錄;像第二個也是,它的編碼只差了一個0,但編碼的卻是兩個;下面的數據也同樣如此,當企業在做物料的預算時,由于找不到到底是那條數據缺失了,所以他沒辦法做一個準確的預算。對于采購也是如此,當業務系統里存在兩條采購數據,這樣就會導致一些大量的重復采購,從而浪費資源。因此主數據管理的意義主要表現在以下4個方面:
1.幫助跨部門協同
企業數據資產的維護需要站在公司的高度,協同各個部門共同完成,主數據是在各個業務部門被重復使用的數據,其管理兼具技術和業務的雙重因素,因此做好主數據管理能幫助跨部門協同。
2.便于開展數據治理工作
主數據管理項目初期不涉及交易系統改造。主數據問題解決好了,公司的數據資產框架就理順了,數據質量、數據及時性等將明顯提升,便于繼續開展其他數據治理、信息化、數字化工作。
3.賦能數字化轉型的需求
數字化轉型需要以客戶需求為出發點,各部門通力協作,而當前行業技術業務分割明顯,主數據管理過程也錘煉了跨部門的協同,通過加速科技和業務的融合,建立公司范圍內通用的主數據規范,以保證數據的一致性和管理報表的合并,這是公司進行其他業務變革成功的基礎之一。

1.規劃階段
這個階段主要是組織的建設、制度的建設,以及目標的確定,也就是我們主數據到底要做哪些內容,其范圍涉及哪些系統。
2.數據標準階段
更多是做一些主數據的管理,比如我們需要確定這一期項目到底做哪些,分類是什么,比如物料主數據的分類,與此同時還有主數據的編碼是怎樣的,有什么標準,然后還有一些類似于“我的”這樣的屬性到底有哪些。
3.治理階段
這一階段更多的是對各類主數據進行采集、清洗、整合,完成一些歷史的主數據的預處理工作。
4.落地階段
主要是將前面所有梳理好的屬性與分類,以及歷史主數據治理好后,搭建一個平臺去做呈現。以一個物資示例來說,通過主數據的管理,實現了業務上的集中管理,比如,統一的物資分類及編碼體系可提供一套“共同語言”,促進企業在供應鏈業務各方面的集中管控,并作出以事實為基礎的決策。
在整個供應鏈的過程中也起到一些作用,比如在采購方面,避免了重構采購節約了成本;在銷售方面,由于基于統一的分類和規格標準,在做扣利潤分析、產品銷售分析時更加準確;在倉儲物流方面,因為有統一的高質量的主數據,減少了重復的儲備,在管理效率上也能有很大的提升。

我們這里其實可以看到這樣的一個主數據項目管理這樣的一個實施的框架。這個框架其實分成4大部分,第一個就是現狀分析與評估,第二個就是體系的規劃,第三個就是實施方案,最后就是一個平臺落地部署的工作。

1.現狀分析與評估
這一階段做的事情就是前期的需求調研,主要目的是獲取企業主數據的管理現狀,以及存在哪些問題。這個過程中,我們也會搜集這個行業比較好的實踐案例,以及國家是否有出臺相關的標準,這些都能方便去了進行現狀分析與評估。
2.管理體系規劃
基于組織的目標,我們就可以去做一些規劃,在規劃的過程中,我們更多的是做各類架構的設計,包括一些制度的建立,考核評價,以及制定一些標準規范等。
3.主數據實施方案
這一階段主要是對每一項做分解,比如編碼規則是什么,有怎樣的分類。它有哪些屬性,以及在這個過程中,還涉及歷史主數據的整合,還有清洗、分發、集成的策略等等。最后還有主數據在使用過程中,如何做更好,如何慢慢地切換到一個統一的平臺上,這些都是實施方案所需要關注的。
4.主數據平臺搭建
這個平臺搭建就是將我們前期所有做的工作的線上化,這樣就能讓主數據管理更加規范精細化,效率也能更高。
主數據項目總體上遵循常規項目6大步驟:啟動、計劃、需求分析與設計、實現、測試驗收、售后運維。這里我們主要重點介紹下實現階段的內容,測試驗收和售后運維就不多做講解。
1.啟動階段
啟動階段主要包括識別項目目標、組建項目團隊、召開項目啟動會。
識別項目目標就是要做一個主數據識別,主數據識別可以從兩方面去考慮,第一個就是通過一些已知的分析維度,以及業務影響程度等,還有數據共享程度比較高的,或者說數據需求比較迫切的,我們都可以將其納入主數據范圍。除此以外,還可以通過一些成熟的工具做一些分析,通過這樣的工具去對接業務系統,從而識別企業到底有哪些主數據,然后這些數據分布在哪里。

第二個就是組建項目團隊,如圖所示,項目管理也是這樣去組建團隊的,比如項目領導小組有項目總監、項目經理,還有一些各種不同的角色的實施人員,除此以外,還配備一些專家的團隊做支持。

2.計劃階段
計劃階段我們主要關心兩部分內容,第一是實施落地的工作,第二是主數據集成開發的工作。這里按照我們前文中說的框架體系去做即可。這里我們重點說一下集成開發這塊的工作。

我們在需求調研階段,以及咨詢規劃階段,了解了業務主數據來源于哪些系統,最后用于哪些系統,以及分發到哪些系統;以及我們的平臺如何與業務系統做對接,是用表對接,還是接口對接;同時整個實施過程中還要做一些并行的工作,因此前期要去了解收集這樣的一些信息,這樣才能讓整個項目的進行的比較順利。
3.需求與設計階段
這一階段也稱為需求調研階段,主要從兩方面去看,一個是業務方面,一個是技術方面。

我們主要是通過訪談問卷,或者面對面的交流以及一些數據抽取的手段去獲取企業主數據的信息和現狀,具體的調研示例如下:

除了需求調研,還有一個重要的板塊是管理制度設計,這里采取三層的架構——決策層、管理層、執行層。

另外主數據的建設并不是IT部門或者信息科技部門就能決定的,正如前文中提到的主數據含有業務實體屬性,需要在業務系統里被使用,因此一定需要業務負責人的參與,一起來共同推進。
而對執行層來說,主要是需要和業務部門一起定義數據的標準模型分類,共同推進。當然在主數據平臺管理過程也需要信息管理員來對數據進行審批等,以上這些角色都是在整個組織架構建設時提前定義好的。
4.實現階段
在具體的實現階段有10項工作要去做,這些工作可以并行考慮,包括數據標準化,分類編碼屬性管控、流程整合以及切換策略等等,下面我們具體來看看。

(1)主數據標準化體系
以物料為例, 完整的物料標準化體系主要包括兩大部分內容,一是物料數據標準的制定,二是支撐物料數據標準化管理相關的組織機制與技術平臺等基礎能力的建設。在此體系下確保逐步改善物資數據質量,最終實現標準化。

(2)分類設計原則
分類設計的原則主要有4點,第一是不重不漏;第二是粗細顆粒度要合理;第三是要滿足業務需求;第四是要符合行業習慣,如圖所示。

這里有一個很重要點是,在整個分類設計的過程中,實施人員要反復與客戶進行確認。因為一旦分類沒有做好,后續可能導致大量的重復錄入,并產生很大的影響。這里有一個分類的示例,大家可以參考下:

當然,我們億信華辰的主數據管理平臺也是可以做分類的效果展示,如圖所示,可以將我們前面做好的分類,直接在平臺上進行維護,這樣我們就可以很方便的去做一些分類管理,以及每一種分類對應哪些物料數據。

(3)編碼設計
編碼設計也有一些原則需要去遵守,比如編碼要有全局性,唯一性、適度性、靈活性、擴展性等。對于唯一性與擴展性,換句話說,當一些新的物料數據進來以后,我們能方便添加更多的編碼進來,而此時的編碼也需要是唯一的,也就主數據編碼只能對應一個確定的實體對象。

這里的編碼通常有三種方式,即順序碼、層次碼、組合碼,他們各有優缺點,如圖所示:

編碼制定的過程也是需要進行大量的討論和確認,才能形成一個好的編碼方案。在現實中,正是因為企業編碼不統一、造成了后續采購以及存儲等一系列問題,所以編碼方案一旦確定出來,實施人員就需要與客戶的高層進行確認。如圖所示的編碼結構示例,它是一個組合碼。

億信華辰的的主數據管理平臺,也是可以做這樣的編碼的,如圖所示,左邊是編碼規則的制定,在這個過程中,看到有許多種規則,包括固定字符,流水號,以及從數據層進行取數,這樣的編碼方式可以覆蓋更多的場景,包括順序碼、層次碼以及組合碼。

(4)屬性標準梳理
屬性標準梳理我們可以去參考一些標準,比如外部的國際標準、國家標準;業務層面上的行業標準和制度要求等;另外在進行屬性梳理時,我們HIA可以從源系統中參考數據字典,查看一些代碼表;最后我們也可以借鑒一些好的實踐經驗與成果來進行屬性標準的梳理。

在進行主數據屬性標準梳理時,我們可以從業務標準、技術標準、管理標準三個層面來進行。比如業務層面,我們需要理解屬性到底屬于哪一個分類,屬性名稱是什么,有怎樣的業務規則;技術層面,我們可以定義屬性,以及類型長度精度等;管理層面我們可以梳理誰來創建,誰來使用,誰在維度等,提前將其確定出來,方便后續制定這樣的制度,如圖所示是一個屬性標準的示例。

在億信華辰的主數據管理平臺上,我們可以進行屬性標準的梳理,如圖所示,員工編碼梳理完之后,落地到平臺上,它的名稱標題以及中文名稱是怎樣的,是什么類型數據,這些都可以通過平臺進行梳理,然后再在前端設置一些填報的效果等等。

(5)管控流程設計
數據之所以會存在很多問題,以及需要推翻重建,很多時候是在業務系統建設過中沒有進行流程審核以及校驗。因此我們在進行主數據管理過程中,需要重視管控流程設計。

比如,當定義了兩種模型,在模型的新增、變更和失效時,是否有流程做一些控制;在進行數據層面的管理工作時,是否有流程能能監測數據的變更、凍結或者失效。另外,我們可能還會涉及一些質檢和審批,在審批沒有問題,才能去做分發。
這里億信華辰主數據管理平臺能提供這樣的審批方式,可以通過工作流平臺去綁定工作流,去做一些流程設計,或者與企業里一些成熟的流程系統做對接,然后通過企業的系統進行流程上的管控。除此以外,還可以在億信華辰的主數據管理平臺繪制流程,指定相應的審批人員,辦理人員以及設置辦理期限等,最終起到規范數據的作用。

(6)歷史數據整合、清洗
這個過程主要分成6個步驟,分別是數據接入、初步標記、分類清理、先分后合、整理清洗、檢查反饋。

①第一步:通過接口或者ETL工具去接入歷史的主數據;
②第二步:看數據存在什么問題,是否有一些屬性沒有填寫,或者說分類不對需要做初步的標記;
③第三步:如果存在問題,就需要將分類標記的數據分配到不同的業務部門進行清洗,由于業務人員來進行整理;
④第四步:先分后合,對分類清理完的數據進行合并匯總檢查;
⑤第五步:整體清理,按照整體業務邏輯進行清理,如果數據量比較大,可以借助工具進行批量處理,并將處理完成的數據做好整合;
⑥第六步:檢查反饋。
億信華辰的主數據管理平臺能提供數據整合,比如利用數據集成工具,可以通過托拉拽一些組件實現連接。一些業務系統里的主數據,也可以通過組件進行初步的標記。當然這是通過工具層面去做這個事兒,若是人工來處理,也可以通過一些模板工具導入平臺來進行。

(7)數據切換策略
這里提供三種切換的策略,第一種是完全采用主數據管理平臺;第二種是通過映射實現與舊數據的對接;第三種是通過映射和逐步數據切換的方式開展,逐步實現所有系統都使用統一的主數據,具體的優缺點和適用場景如圖所示。

(8)數據生產與維護策略
在數據生產和維護方面有兩種策略,一種是集中式,即所有的數據新增、變更、刪除以及管理全過程都在主數據管理平臺上來進行,統一的管理,統一的分發;另一種是分布式,即通過在某個單一的業務系統里去對某一類的主數據,進而做新增、變更與刪除,然后主數據平臺及時去同步業務系統的數據,并向企業業務系統去做分發,這時的主數據平臺就起到一個中間橋梁的作用。

這一類分布式管理比較適合于單一可信的來源,且不受其他業務系統影響的主數據,比如人力數據,OA系統在各自的系統里維護的比較好,數據質量也比較高,就比較適合分布式的管理方式。
(9)主數據分發策略
主數據的分發方式有三種,第一種是通過接口對接與分發,當企業業務系統可以做一些改造,可以對接ESB。這種方式是由業務系統主動獲取數據,適用于業務系統對主數據實時性要求比較高的情況。

第二種是通過交換任務分發,比較適合批量數據的獲取,比如前期主數據管理管理維護好以后,通過批量的方式把數據推送到某個業務系統中去。這種方式支持定時任務執行,適用于業務系統需要批量獲取主數據的情況。
第三種是通過文件分發,即通過離線文件的方式分發數據,適用于系統繁忙情況下的批量分發。如圖為億信華辰的主數據管理平臺的分發效果,提供了大量的接口,還支持自定義接口,以及多個表關聯后的數據再做分發等,都能借助平臺實現,除此以外,我們還有分發的配置,支持接口庫表,同時還有一些數據集成的工具,可以設置一些任務,以任務的方式來做分發。

(10)主數據集成示例
這里是一個主數據集成的示例,就是主數據管理平臺還可以通過工具與各個業務系統去做對接集成,包括主動的方式去推數據,也包括被動的方式去拉數據,至于怎么去做,同步或者異步都可以,還可以做日志的預警。

1.案例背景
某集團是穩居中國企業500強前列的大型民營股份制企業,現有員工4萬多人,年產值過1000億。目前形成了以鋁業、紡織服飾、西海岸新區、金融、地產、教育、旅游、健康、航空等為主導的多產業并舉的發展格局。
(1)建設原因:大數據建設起步晚,數據資產沒有得到充分利用
集團已經建立了包括財務管理、資產管理、人力資源管理在內的多個信息系統,且運行多年,積累了一定數量的各類型數據。但過去信息化建設遵循的理念是“業務驅動”而非“數據驅動”,忽略了對數據本身的關注,沒有充分挖掘和利用數據的價值。
(2)信息化現狀:集團較完善,各下屬企業信息化程序參差不齊
集團管控層面信息化系統比較完善,比如:人事系統、財務系統、供應鏈系統、客戶和銷售系統、固定資產管理系統、流程審批系統;但各下屬企業信息化程度參差不齊,主要為ERP+特定領域專用系統,并由眾多計劃中MES系統
2.主數據管理的目標
這個項目的目標是要在整個集團內實現數據的標準化和一致性,同時提升數據質量,另外把主數據的接口能夠露出來,為各個業務系統快速提供數據。同時也希望能夠建立自己的數據管控團隊,讓整個數據運轉起來,數據的管控過程越來越正規化,最終去支撐集團的業務發展。

3.主要建設任務(物資)
這塊和前文中提到的實施框架是類似的,比如體系建設,組織規劃,標準落地以及平臺搭建。另外由于集團的物料范圍比較廣,需要制定物料標準化的目標,例如原材料、設備等等,這些標準也會被全集團來使用。

4.主數據項目管理規劃
這個過程主要分成三個階段,第一階段是整體的規劃,建立標準、搭建平臺、完成集團管控系統數據整合(物料、財務、人事、客商);第二階段是把主數據管理工作往其他業務模塊推進,以及推進下級單位的數據整合;第三階段是做主數據的查漏補缺,全面完善,整體優化。進行持續的數據治理,逐步構建數據專家團隊。

5.編碼方案變更
如圖所示為該集團采取的綜合流水碼,因為該集團涉及的物料特別多,所以采取了流水碼,這樣能容納的數據量是比較大的,同時億信華辰在這個過程中,會通過提取一些信息,第一時間了解到物料屬于哪個分類,有什么含義。

6.主數據管控流程
如圖是該集團的主數據管控流程,也是通過我們億信華辰主數據管理平臺去填寫數據,由BPM系統做審批,最后再通過ESB發送到不同的業務系統中去。

7.一物多碼解決方案
在進行主數據的項目管理工作中,不同階段,會涉及一些不同方案來解決一物多碼的問題,比如在事前階段,可按分類、全局等不同層級逐步查詢,還可以通過“主數據說明”搜索,實現對任意屬性的模糊匹配,快速查找出相似數據,從而可確認所需物料是否已存在,避免重復申請;

在事中階段,可以采取多種方式,例如程序的校驗與審核等,還包括內置的這樣的一些相似度的檢測的一些功能,然后這樣的話就避免這樣的重復一些錄入。
在事后階段,我們也提供了質量檢查功能,通過自定義質量規則去檢查這種重復的數據,并定期巡檢,然后產出質量報告,最后通過郵件發送給業務系統的負責人,最終方便做一些物料數據和一些重復數據的整改工作。
8.建設成效對比
主要體現在以下四個方面:

9.價值展現
經過一年多的項目建設,該集團利用億信華辰主數據管理軟件搭建的主數據平臺成功上線,建立了滿足各下屬公司業務需要的物資分類和各屬性字段標準規范模板,實現所有類型主數據在主數據管理平臺中統一管控,最終通過集中的數據管理和全面的數據服務,實現高效的數據利用和可靠的數據質量,具體體現在以下兩個方面:
(1)大幅度降低了物料重碼率,為降低庫存提供了保證
通過建立主數據的編碼、屬性、校驗、規則的標準化應用體系,建立該集團全局、統一、規范的主數據應用標準、集成和服務標準;實現專業化團隊的持續改進,完成由離散的、片面的數據編碼到全局的、整合的標準化主數據體系的轉變。
(2)滿足快速定位及查詢的需要,減少無效操作時間,提高工作效率
通過建立主數據管理系統,實現主數據申請、校驗、審核、生成、發布的全過程動態管理,實現主數據標準和管控流程的系統固化;實現歷史主數據版本的信息追溯;通過主數據自動校驗,有效的提升主數據質量;全面實現由手工、Excel文件等分散的管理方式向全生命周期管理的信息化工具管理方式轉變。
10.億信華辰EsMDM主數據管理平臺
如圖所示是億信華辰的主數據管理平臺的架構,從這個架構里可以看到,該平臺的主數據采集方式可以對接不同的業務系統數據源,可以通過人工錄入、導入導出、數據整合工具,以及自動采集獲取數據。然后可以將數據提煉到主數據管理平臺,然后在主數據庫里去做主數據的治理、清洗工作。另外我們也可以通過該平臺做業務流程上的管控,去定義模型屬性,編碼分類,以及數據的查詢備份,以及開發接口等工作。

當把前面的標準化工作做完以后,我們還可以在主數據管理平臺上做數據的維護工作,例如從申請到失效過程中,通過工作流進行全流程的管理。最后將數據分發到各業務系統去使用 ,這里也提供了不同的分發方式,對接ESB,通過數據交換來進行分發。
當然在整個主數據管理過程中也會存在數據安全問題,這時可以利用億信華辰的主數據管理平臺來對數據進行歸檔存儲等工作。這就是億信華辰的主數據管理平臺的架構,通過這個平臺我們能夠輕松的實現與業務系統的主數據分發與共享,最終為企業提供一個高質量的主數據服務。
上一篇:企業該如何實施數字化轉型?...
下一篇:蒙牛數字化工廠...