日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一,入選IDC企業數據治理實施部署指南。同時,在IDC發布的《中國數據治理市場份額》報告中,連續四年蟬聯數據治理解決方案市場份額第一。

一文講透主數據管理

時間:2023-04-18來源:大魚的數據人生瀏覽數:4763

主數據管理產品介紹:

睿碼主數據管理平臺EsMDM,是億信華辰完全自主研發的一站式主數據管理平臺產品,覆蓋主數據標準、主數據質量,主數據采集、申請、新增、變更、審核、生效、失效、分發等全生命周期管理。全程“零”編碼,幫助用戶高效完成主數據管理流程制定;通過其高可用性幫助企業快速搭建主數據管理平臺,保障各業務系統主數據的一致性,提高企業運營效率。

文章正文:

主數據管理是數據治理的核心內容,最近大魚對主數據管理的內容進行了系統梳理,如果你想對主數據管理有體系化的理解,那就讀這一篇,本文共分為五個部分:

1、主數據基本概念:主數據定義、特征及概念辨析。

2、主數據管理概念:主數據管理定義及挑戰。

3、主數據管理實施:主數據管理的7個階段(項目規劃、現狀分析、治理保障、平臺建設、存量清晰、數據集成、外圍變更及運營分析)和25個實施步驟。

4、主數據管理成熟度:主數據管理的五個層次,包括提供列表、同等訪問、集中總線處理、業務規則和政策支持及企業數據集中。

5、主數據系統其它:主數據管理系統與數倉、ODS系統的區別。

一、主數據基本概念

1、主數據定義

主數據(Master Data)是指在一個組織內部跨多個系統、應用程序和業務過程中共享、使用和維護的關鍵業務實體的核心數據。這些數據通常包括客戶、產品、供應商、員工和其他重要的業務對象的信息。主數據的目的是確保數據在組織內的一致性、準確性和可靠性。主數據可以根據不同的業務領域和實體進行分類。以下是一些主數據類別:

(1)客戶數據(Customer Data):包括客戶的基本信息、聯系方式、交易歷史、信用評分等。

(2)產品數據(Product Data):包括產品的描述、分類、規格、價格、供應商信息等。

(3)供應商數據(Supplier Data):包括供應商的基本信息、聯系方式、合同信息、評價等。

(4)資產數據(Asset Data):包括組織的固定資產、設備、設施、軟件許可等的詳細信息。

(5)員工數據(Employee Data):包括員工的個人信息、職位、履歷、培訓記錄、績效評估等。

(6)組織數據(Organization Data):包括公司的部門、地點、業務單元、成本中心等相關信息。下圖是一個員工基本信息的主數據示例。

2、主數據特征

主數據具有一些特定的特征,這些特征使其在組織內具有重要的價值。以下是主數據的三個關鍵特征:

關鍵性(Criticality):主數據包含組織內最關鍵的業務實體信息,如客戶、產品、供應商等。這些數據對業務運營和決策過程至關重要。

共享性(Shareability):主數據通常需要在組織內的多個部門、系統和業務過程中共享和使用。這要求主數據在不同的應用和業務場景中保持一致性和準確性。

持久性(Persistence):主數據通常具有較長的生命周期,需要在一定時期內保持穩定。與其他類型的數據(如交易數據)相比,主數據的變更頻率較低。

《主數據管理實際白皮書1.0》針對主數據特征給出了五個超越,是對這三個關鍵特征的完美詮釋:

超越部門。主數據不是那種局限于某個具體職能部門的數據庫。主數據是滿足跨部門業務協同需要的,是各個職能部門在開展業務過程中都需要的數據,是所有職能部門及其業務過程的“最大公約數據”。

超越流程。主數據不依賴于某個具體的業務流程,但卻是主要業務流程都需要的。主數據的核心是反映對象的狀態屬性,它不隨某個具體流程而發生改變,而是作為其完整流程的不變要素。

超越主題。與信息工程方法論中通過聚類方法選擇主題數據不同,主數據是不依賴于特定業務主題卻又服務于所有業務主題的有關業務實體的核心信息。

超越系統。主數據管理系統是信息系統建設的基礎,應該保持相對獨立,它服務于但是高于其它業務信息系統,因此對主數據的管理要集中化、系統化、規范化。

超越技術。由于主數據要滿足跨部門的業務協同,因而必須適應采用不同技術規范的不同業務系統,所以主數據必須應用一種能夠為各類異構系統所兼容的技術條件。從這個意義上講,面向微服務架構為主數據的實施提供了有效的工具。

3、主數據與其它數據的關系

主數據與其他類型的數據有密切的關系,它們在組織內相互依賴并共同支持業務運營和決策過程。以下是主數據與其他數據類型之間的一些關系:

交易數據(Transactional Data):交易數據是指記錄業務活動(如銷售訂單、采購訂單、發票等)的數據。交易數據通常與主數據密切相關,因為它們包含了與主數據實體(如客戶、產品、供應商等)相關的信息。例如,銷售訂單可能包含客戶信息、產品信息以及價格等主數據。主數據為交易數據提供了基礎信息和上下文,有助于實現業務過程的有效執行和監控。

元數據(Metadata):元數據是描述其他數據的數據,例如數據的結構、格式、定義、來源等。元數據在主數據管理過程中起著重要作用,因為它有助于識別、整合、清洗和標準化來自不同來源的主數據。通過使用元數據,組織可以確保主數據的一致性、準確性和可靠性。

參照數據(Reference Data):參照數據是一種用于支持其他數據的標準化和分類的數據,例如固定值列表、代碼表、行業標準、度量單位等。參照數據在主數據管理過程中具有重要作用,因為它們有助于實現主數據的一致性和標準化。通過使用參照數據,組織可以確保主數據在不同系統和業務過程中保持一致。

分析數據(Analytical Data):分析數據是用于支持決策和分析的數據,通常是通過對原始數據(如主數據和交易數據)進行匯總、轉換和加工生成的。主數據為分析數據提供了關鍵的基礎信息,確保分析結果的準確性和可靠性。例如,在進行銷售分析時,需要使用客戶數據、產品數據等主數據來對銷售數據進行分組和歸類。

下圖示例了主數據與元數據、交易數據(業務怇)的關系。

二、主數據管理概念

1、主數據管理定義

主數據管理要做的就是從企業的多個業務系統中整合最核心的、最需要共享的數據(主數據),集中進行數據的清洗和豐富,并且以服務的方式把統一的、完整的、準確的、具有權威性的主數據分發給全企業范圍內需要使用這些數據的操作型應用和分析型應用,包括各個業務系統、業務流程和決策支持系統等。主數據管理使得企業能夠集中化管理數據,在分散的系統間保證主數據的一致性,改進數據合規性、快速部署新應用、充分了解客戶、加速推出新產品的速度。從 IT 建設的角度,主數據管理可以增強 IT 結構的靈活性,構建覆蓋整個企業范圍內的數據管理基礎和相應規范,并且更靈活地適應企業業務需求的變化。大多數的企業都存在主數據管理的問題,這是由于業務發展的漸進性以及IT技術發展的漸進性造成的,正是由于這種漸進性,各大企業的業務系統從經歷了從無到有,從簡單到復雜,從而形成了一個又一個的業務豎井,比如OA、HR、PLM 、CRM、ERP、MES等等。從根本上來說,不可能只使用一個業務系統就能覆蓋企業的所有業務,即便對一些國際大型的公司提供的套件來說也是一個不可能完成的任務(即便對套件來說,經常也存在一個跨國企業在不同的國家或地區部署多個實例的現象,也就是沒有集中部署該套件,而是在很多地方分散部署了該套件)。

對企業來說,業務系統的構建更多是以項目為中心,從下而上的構建系統,而不是至上而下的構建系統,必然缺乏整個企業范圍內的統一規劃,從而使得一些需要在各個業務中共享的數據(主數據)被分散到了各個業務系統進行分別管理。分散管理的主數據由于沒有不具備一致性、準確性、完整性,使得各個企業普遍存在著產品管理不力、供應商管理不力、訂單管理不力等現象。解決這一問題的根本方法就是引入主數據管理(MDM),主數據不光指需要共享的數據,更包含需要共享的業務規則和策略。先看示例,在沒有對主數據進行管理的情況下是這樣的:

在費用控制系統中向供應商海康威視公司支付貨款,費控系統中該供應商的編碼是PAYV000345,完成付款后,費控系統需要向ERP系統傳遞付款的會計憑證,但是,ERP系統中海康威視公司的編碼是ERP00000123,如果費控系統直接把PAYV000345傳給ERP系統,ERP系統是不能識別的,那么就需要建立一種對照表,把PAYV000345翻譯為ERP00000123才可以。在這種情況下,費控系統和ERP系統都需要有管理員維護各自系統的供應商數據(維護兩次),同時還得維護兩個系統之間供應商數據的對照關系,應用成本比較高,很不方便。這還僅僅是兩個系統之間的情況,如果系統更多,這種使用方式就太復雜了。于是就有了如下的新辦法:

在一種叫做主數據管理系統(MDM)的軟件中,由該系統的管理員統一維護供應商數據(維護一次),并且統一編制唯一性的編碼(如海康威視公司的主數據編碼是10002608),然后MDM再把這個供應商主數據推送給費控系統和ERP系統,這樣所有系統中的海康威視公司編碼都是統一的10002608,系統之間不再需要做編碼的翻譯,直接使用即可,大大的簡單化和標準化了供應商這類數據的應用。

2、主數據管理的挑戰

在實施和管理主數據過程中,組織可能會面臨許多挑戰。以下是一些主要的挑戰:

數據質量:確保主數據的準確性、完整性、一致性和及時性是一個重要挑戰。數據質量問題可能源于數據輸入錯誤、重復記錄、不一致的數據表示等。解決這些問題需要實施有效的數據治理和數據質量管理策略。

數據整合:組織內可能存在多個數據來源和系統,它們存儲了不同格式和結構的主數據。將這些數據整合為一個統一、標準化的視圖是一個關鍵挑戰。解決這個問題需要實施數據整合和數據轉換技術,以便在組織內實現數據的一致性和可訪問性。

數據標準化:不同系統和業務部門可能采用不同的數據表示和編碼方式。在主數據管理過程中,需要將這些不同表示和編碼統一為一個組織內的標準。數據標準化是一個關鍵挑戰,需要實施元數據和參照數據管理策略以解決。

數據安全和隱私:保護主數據的安全和隱私是一個重要挑戰,特別是涉及敏感信息(如客戶個人信息)時。組織需要遵循數據保護法規,實施適當的數據安全措施,如加密、訪問控制和數據脫敏等。

組織變革管理:實施主數據管理往往涉及到組織內的業務流程、系統和文化的變革。成功推動這些變革需要強大的領導力、合作和溝通。組織需要確保員工對主數據管理的重要性有充分的認識,并獲得必要的培訓和支持。

技術和工具選擇:選擇合適的技術和工具來支持主數據管理是一個關鍵挑戰。組織需要根據自身的業務需求、數據結構和資源來評估和選擇適當的主數據管理解決方案。

持續維護和更新:主數據管理是一個持續的過程,需要不斷地維護和更新數據,以適應組織內的業務變化。這需要投入時間、資源和人力來確保數據的質量和一致性。

要想將主數據管理做好,需要各層級領導足夠重視、全員參與,同時,構筑起主數據管理的基礎能力,包括:組織、流程、 標準和工具等等。在主數據管理基礎能力中,組織、流程、 標準的建設80%決定了主數據項目的成敗和建設效果。

三、主數據管理實施

主數據管理實施共分為項目規劃、現狀分析、治理保障、平臺建設、存量清晰、數據集成、外圍變更及運營分析七個階段,涉及25個實施步驟,如下圖所示:

1、項目規劃

(1)獲得高層支持

對于公司的大多數主數據,雖然可能存在不一致,但大多時候問題并不嚴重,因為如果不一致問題已經嚴重影響到了生產,業務肯定是要強力介入并進行解決的,比如立個項,主數據的大多數問題在業務從0到1的建設過程中就已經基本解決了。因此,很多主數據問題是業務當前還能容忍,但長遠來講成本可能很高的問題,也就是重要而不緊急的事情,考慮到各個部門屁股決定腦袋的特點,主數據存在著天然的驅動力不足的問題。那么誰最會考慮這種重要而不緊急的事情呢,誰又會考慮這種全局和局部的問題呢,顯然是公司的高層。因此,主數據的業務驅動一定首先來自公司高層,只要高層不覺得痛,跨領域的長期積累的主數據問題就很難實質性解決,獲得高層支持是主數據管理實施的第一推動。

(2)確定項目范圍

一個企業主數據會有很多,如果一次把所有主數據都管起來,工作量會很大,周期會很長,通常主數據會分2-3年去完成,并持續優化。這時候,主數據范圍確定就很重要,給每個主數據排個優先級,企業最需要統一的、標準化程度高,基礎好的、數據一致性好的、數據量可控的都是排序依據,最終根據優先級,我們分步建設主數據,這樣可按期看到階段性效果,便于項目推進。

(3)組建項目團隊

一般會設置公司領導小組,組長由管理層擔任,副組長由各部門的數據責任人擔任,領導小組負責主數據項目總體工作推進,制定總體工作思路和目標,協調各部門間項目推進過程中遇到的問題,確保項目的順利執行。領導小組一般會下設工作小組,工作小組組長一般由企業數據管理組織的相關負責人擔任,成員包括企業數據管理組織人員及各領域的數據專員,負責主數據項目的具體實施,開展相關能力建設和運營。根據自己的經驗,一般會設置幾個專業組協同推進,以下是一個示例供你參考:業務需求組:負責主數據相關業務流程梳理和業務管理規范的制定,明確主數據需求系統架構組:負責主數據系統整體架構的設計,確保架構合理、滿足各域生產應用需要平臺建設組:負責推進主數據系統建設工作,實現主數據庫、對外數據服務、數據稽核等關鍵能力數據架構組:負責推進各領域系統現有主數據的整合,形成一份統一的公司標準主數據各領域改造組:負責本領域系統的改造工作,確保與主數據系統的順利對接

(4)制定項目計劃

主數據項目由于涉及到多部門協同,進度控制比較難,因此一定要通過項目啟動會等形式明確項目計劃,大量的主數據項目由于前期缺乏承諾導致后期扯皮的產生,除了事前的項目計劃,事中也要采取通報等形式進行過程控制,及時發現問題并升級。

2、現狀分析

(1)溝通需求痛點

第一、調研業務需求,包括哪些業務需要主數據支撐,對主數據有什么要求和期望,

第二、了解業務流程,包括業務如何辦理(如填表,工單),如何流轉(如是否需要審批),

第三、了解業務應用,基于主數據有哪些業務場景。下圖顯示了家寬業務受理流程中涉及的地址主數據查詢和錄入情況。

(2)評估系統數據

第一、調研主數據目前分布在哪些系統中,未來使用主數據的系統有哪些,

第二、主數據有哪些屬性字段,數據關系如何,數據質量怎樣,

第三、當前系統改造難易度,支撐哪種方式對接。下圖顯示了地址主數據查詢和錄入涉及的相關系統。

(3)確定改造內容

基于現狀分析,可以確定存在的問題和改進點,分析出用戶對主數據建設的需求,包括管理體系、系統架構、業務流程、數據標準、數據質量、數據平臺等方面。

3、治理保障

(1)制定標準體系

主數據標準是主數據管理工作的核心內容。通過主數據標準,才能實現跨組織、跨部門、跨流程、跨系統的數據集成和共享。主數據標準也是打通企業橫向產業鏈和縱向管控的數據基礎。主數據標準一般分為三類:數據標準,管理標準和服務標準,但主數據標準體系的建設要適合企業的業務,適應企業的發展。標準的建設不能“先入為主”更不能“直接照搬”。

數據標準:主要明確主數據的編碼規則、分類標準、命名規范、編碼顆粒度、屬性規范、主數據模型標準等,下圖示例了物料主數據模型和屬性描述規則。

管理標準:主要明確組織、制度、流程、應用等管理規范及標準,比如明確各方職責,規范主數據的申請、變更及修改流程。

服務標準:明確主數據集成服務接口規范,包括集成技術規范、開發規范、外圍系統接入規范等。

(2)建立組織保障

企業要建立主數據管理組織,確定主數據工作的相關各方的責任和關系,包括確定主數據過程中的決策、管理、執行等活動的參與方和負責方,以及各方承擔的角色和職責等,如下圖所示:

主數據管理組織目標是:統籌規劃企業的數據戰略;建立主數據標準規范體系、數據管理制主度和流程體系、數據運營和維護體系;依托主數據管理平臺,實施主數據標準化落地、推廣和運營。在明確了組織機構的同時,還要明確主數據管理崗位,主數據管理崗位可以兼職,也可以全職,根據企業實際情況而定。

(3)設計制度流程

制度章程是確保對主數據管理進行有效實施的認責制度。建立主數據管理制度和流程體系是需要明確主數據的歸口部門和崗位,明確崗位職責,明確每個主數據的申請、審批、變更、共享的流程。

4、存量清洗

(1)明確清洗方法

基于主數據標準,對各來源歷史數據進行分析,明確數據采集、標準化、內容清洗及合并等方法,比如下圖示例了采用空間聚類、地址相似度等方法來實現相同地址合并。

(2)進行數據清洗

歸集歷史數據并實施數據清洗,通過數據清洗保證主數據的唯一性、準確性、完整性、一致性和有效性,然后通過系統校驗、查重及人工比對、篩查、核實等多種手段對主數據代碼的質量進行檢查,最終形成一份高質量的主數據代碼庫。

(3)完成數據發布

完成主數據代碼庫評審并發布到生產環境,同時做好主數據代碼庫與源數據的映射,為外圍割接做好準備。

5、平臺建設

主數據管理平臺是數據標準落地的載體,也是實現主數據統一標準、統一規則的支撐,還是有效實施主數據全生命周期管理和數據服務的平臺,以及實現數據從產生到應用,分層協同、全面治理的核心。

(1)架構模式

主數據管理平臺有多種架構類型,包括集中式架構、分布式架構、注冊中心架構及混合架構,在選擇主數據管理架構時,需要考慮企業的業務需求、技術基礎設施、數據質量和安全性等因素。通常,一個好的MDM解決方案應該支持多種架構類型,并允許企業根據實際情況進行靈活配置和調整。

集中式架構(Centralized Architecture):在集中式架構中,所有的主數據都存儲在一個中心數據庫中。企業各個業務系統通過API或其他集成技術訪問和更新這個中心數據庫。這種架構便于實現數據的一致性和標準化,但可能存在性能瓶頸和單點故障的風險。

分布式架構(Distributed Architecture):在分布式架構中,主數據分布在多個數據庫或系統中,這些數據庫或系統可能位于不同的地理位置。數據通過數據集成技術(如ETL或消息隊列)在各個節點之間同步。這種架構具有較高的可擴展性和容錯能力,但實現數據的一致性和標準化較為復雜。

注冊中心架構(Registry Architecture):在注冊中心架構中,主數據依然存儲在各個業務系統中,而MDM平臺只維護一個包含數據索引和映射關系的注冊中心。這種架構避免了數據遷移和同步的復雜性,但需要實時查詢和整合多個數據源,可能影響數據訪問的性能。

混合架構(Hybrid Architecture):混合架構結合了集中式、分布式和注冊中心架構的優點,以滿足企業的不同需求和場景。例如,對于關鍵和公共的主數據,可以采用集中式存儲和管理;而對于分散和敏感的主數據,可以采用分布式存儲和注冊中心管理。

(2)管理數據模型指基于主數據標準,提供主數據的結構、屬性、關系、約束和規則的建模能力。

(3)進行數據整合固化數據清洗方法,包括對接入的數據進行匯聚、清洗、轉換、映射、去重、合并及加載,通過一系列的數據加工和處理形成標準統一的主數據。

(4)提供數據服務指對外提供主數據的變更、訂閱、查詢、同步、分發、通知等服務。

(5)構建數據管理指構建主數據管理流程,實現主數據的創建、變更、審核等運維功能。

6、外圍集成

(1)變更業務流程

主數據建立后,各業務系統需要基于主數據的管理要求變更主數據錄入、變更、查詢等流程,重新明確相關角色和職責,并對相關人員進行培訓,確保查詢和錄入的規范性,比如新的主數據管理系統提供了二種主數據的查詢方式:

(2)進行數據集成

需要將主數據管理平臺與各個目標業務系統進行集成,以實現主數據的申請、審核、分發等交互操作,從而最終實現主數據在多個系統之間的共享和統一。集成可以通過企業服務總線(ESB)方式,也可以通過Web Service和XML方式。由于每個業務系統復雜性不一樣,改造難度不一樣,并不是每個系統都要按照一個標準去集成,比如歷史數據各自如何清理、數據對照在哪里做、數據是主動推送還是訂閱方式,最終往往通過多種集成方式,最終逐漸解決企業系統間的數據不一致問題。下圖給出了A系統(原來具備獨立的地址管理能力)集成地址主數據的示例,共要做四個方面改造:

第一、A系統頁面集成地址主數據系統的管理頁面,調用地址主數據提供的API接口進行查詢變更等操作,下線原來的地址管理模塊。

第二、A系統新增與地址主數據系統的數據同步接口,保留一份地址主數系統的全量標準地址庫副本,供A系統內部高效使用。

第三、由于地址主數據模型發生變更,A系統中原有的涉及地址數據的模型進行適配改造。

第四、A系統的下游要同步改造。

7、運營閉環

主數據管理項目的實施能夠幫助企業初步建立起主數據的管理體系,但做好持續的運營工作,是發揮主數據價值的關鍵。有些項目實施過程很成功,但系統運行一段時間,比如半年、一年后,突然發現,主數據的質量已經回到了“解放前”。所以,實施主數據項目,只是數據治理的一個開始,企業要保持高質量的數據,必須持續的運營和不斷的優化。

(1)確保標準執行

要建立主數據的運營管理團隊,推動主數據管理相關制度的落地和優化,做到定崗定責、責任到人,對主數據新增、變更、使用等的流程進行監督和改進,確保規范執行到位。

(2)提升數據質量

主數據作為“黃金數據”是企業的核心數據資產,主數據質量的好壞決定了數據價值的高低,因此要建立一套主數據質量的運維體系,確保及時發現主數據的質量問題并閉環解決,如下示例了地址主數據的自動稽核流程:

(3)加強運營推廣

主數據的應用接入無法一蹴而就,特別是對于集團型企業有很大難度,需要制定周密的推廣計劃,逐步推廣到相關的業務系統中。

四、主數據管理成熟度

根據主數據管理實施的復雜程度,可以把主數據管理可以分為五個層次,從低到高反映了主數據管理(MDM)的不同成熟度,下面是IBM的一個評估模型:

Level 0:沒有實施任何主數據管理(MDM),意味著企業的各個應用之間沒有任何的數據共享,整個企業沒有數據定義元素存在。

Level 1 :提供列表,Level1比Level 0的不同就是,各個部門雖然還是獨立維護各自的關鍵數據,但會通過列表管理維護一個松散的主數據列表,能夠向其他各個部門提供其需要的數據。Level 1依賴于人的協作,當數據量比較大時,數據維護的成本會變的很高,效率也會很低

Level 2 :同等訪問(通過接口的方式,各個系統與主數據主機之間直接互聯),Level 2與Level 1相比,引入了對主數據的(自動)管理。通過建立數據標準,定義對存儲在中央知識庫中詳細數據的訪問和共享,為各個系統間共享使用數據提供了支持,也就是說一個應用可以調用另一個應用來更新或刷新需要的數據。

Level3 :集中總線處理,與Level 2相比,Level 3打破了各個獨立應用的組織邊界,使用各個系統都能接受的數據標準統一建立和維護主數據(Level 2的主數據主機上存儲的數據還是按照各個系統分開存儲的,沒有真正的整合在一起)。集中處理意味著為MDM構建了一個通用的、基于目標構建的平臺。

Level 4 :業務規則和政策支持,相對于Level 3,Level 4將主數據的業務規則進行集中管理,并跟各類業務流程進行集成,在確保數據準確性的前提下可以支撐規則的動態變更。比如,如果一個商店經理更新一個產品的價格,總線系統需要能夠和一個可信系統(比如,商品管理系統)進行協商以便使規則生效,也就是”一點更改,全局生效“。

Level 5 :企業數據集中,總線和相關的主數據被集成到獨立的應用中,主數據和應用數據之間沒有明顯的分隔,他們是一體的。當一個有權限的應用系統更新一個數據值時,公司內所有的系統實時反映這個變更,也就是”一點更改,實時生效“。

五、主數據管理系統與數倉、ODS的區別

1、主數據管理系統與數倉的區別

首先,處理類型不同,主數據管理 (MDM) 系統是偏交易型的系統,它為各個業務系統提供聯機交易服務,系統的服務對象是呼叫中心、B2C、CRM

等業務系統;而數據倉庫是屬于分析型的系統,面向的是分析型的應用,是在大量歷史交易數據的基礎上進行多維分析,系統的使用對象是各層領導和業務分析、市場銷售預測人員等。

其次,實時性不同,與傳統的數據倉庫方案的批量 ETL 方式不同,主數據管理系統在數據初始加載階段要使用

ETL,但在后續運行中要大量依賴實時整合的方式來進行主數據的集成和同步。

第三,數據量不同,數據倉庫存儲的是大量的歷史數據和各個維度的匯總數據,可能會是海量的,而 MDM

存儲的僅僅是客戶和產品等信息。雖然主數據管理系統和數據倉庫系統異同共存,但是二者卻有著緊密的聯系,并且可以互為促進、互為補充。舉例而言,數據倉庫系統的分析結果可以作為衍生數據輸入到

MDM 系統,從而使 MDM 系統能夠更好地為操作型 CRM 系統服務。

2、主數據管理系統與ODS的區別

首先,二者存儲的數據內容是全然不同的,主數據管理系統主要存儲客戶、產品、供應商等核心對象數據,而ODS存儲的數據包括事務數據、業務流程數據等。

其次,二者的目的不同,主數據管理系統主要關注實時或接近實時的數據處理,以實現數據的實時一致性,而ODS主要用于處理事務數據和業務流程數據,以支持實時業務決策和報表需求。

第三,主數據管理系統通常不存儲數據的歷史變化,只關注當前最新的主數據。而ODS可能會存儲一定的數據歷史,以便支持企業的短期趨勢分析和歷史報表需求。

六、實施落地-主數據平臺搭建

在平臺搭建層面,億信華辰睿碼主數據管理平臺對于主數據的一個全生命周期的功能支撐是非常全面的,包括模型管理、分發管理、數據質量監控、工作流審批和用戶權限等全方位支撐進行高效的實施主數據項目。

△睿碼主數據產品架構圖

七、實施落地-主數據模型建設

在主數據模型建設時常常會遇到以下幾個問題,需要大家特別注意:

問題1:如何去區分主數據的一個屬性字段和重要屬性字段

在收集主數據屬性字段時,由于業務人員對于主數據的概念并不清晰,往往會將重要屬性字段識別為主數據字段,這里要加以區分和篩選。例如人員主數據里面像戶口、畢業院校等信息就屬于重要屬性字段。

因為人力資源部門來說,它是一個重要屬性資料是需要收集的,但是對于主數據來說,他的共享性可能只有人力資源部門會用到這個數據,但別的部門會不會用到這個數據呢?他可能用不到,那這樣的話,那我們在收集這個主數據屬性階段的時候,要考慮這個字段是否高度共享?主數據字段別的部門有沒有用到?如果用到,我們就要將他納入到主數據屬性字段,否則我們是不納入的。

解決思路:首先要確保高度共享的字段收集齊全,再結合客戶的實際需求增添重要屬性字段。

問題2:多數據來源的情況下,數據如何清洗合并

這個也是建設的過程中比較難的一個點,我們面對多數據來源時,首先了解各數據源的數據情況,針對具體的數據問題提出清洗和合并建議,與客戶進行討論,確定實施方案后進行操作。

特別是組織架構的數據尤其需要注意,因為行政組織架構和業務系統的架構是有區分的。業務架構的特點,為了滿足業務上的需求,從而虛構出許多不存在的部門。

八、實施落地-主數據共享

主數據共享是主數據建設完成之后,如何將它去分發到各業務系統去使用。睿碼主數據管理平臺是通過兩種形式實現共享:

第一種是接口分發的方式,由業務系統主動獲取數據,適用于業務系統對主數據實時性要求較高的情況。

另一種是通過交換任務的方式,支持定時任務執行,適用于業務系統需要批量獲取主數據的情況。

九、項目重難點解析

難點一:數據接入比較困難

難點分析:主數據項目要求接入財務系統和合同系統的數據,而財務系統和合同系統里面的數據都是高度涉密數據,客戶內部出于對數據的安全考慮等原因,需要通過相關協議進行控制,整體審批等待時間較長。

解決方案:在需求調研的階段就要去提前去了解數據獲取的方式,盡早獲取相關數據進行分析,從而避免時間上的沖突,阻礙項目進度。

難點二:數據標準定義難、質量差、改造難

難點分析:清洗接入的財務系統和合同系統相關主數據的歷史數據,而在改造過程中遇到以下問題:

1.財務系統為用友NC6.5,接入的數據包含了大量的財務系統唯一標識符,需要對多個字段進行轉碼。

2.財務系統的部門編碼歷史數據牽扯了諸多業務,難以迅速整改。最終由客戶集團發文,協助用友公司進行清理,用時約3周。

3.甲方項目組對于標準制定無暇顧及,無法有效的建立數據標準,只能憑借項目組成員的經驗對數據標準和質量進行控制。

4.對于不同業務系統的同一類型數據如客商、組織等進行統一標準整改時,甲方項目組在我們給出建議的時候難以決策,將問題轉移至我們來解決。

5.業務系統對于需要改造的相關功能有所排斥,難以推行下去。

解決方案:我們主動的去引導客戶去完成相關事項的一個決議,盡可能的提供一些專業建議,把該準備的材料流程都準備好,主動去推動協調解決。推進事情建議采取三步法:1)收集需求,編寫方案;2)開會討論,確定結果;3)雙方確認執行方案,通過流程化步驟解決問題。

難點三:溝通難,阻力大

難點分析:項目溝通難,涉及需要業務系統改造的地方,所遇到的阻力較大。受制于職能型組織架構模式,需要花更多的時間和精力和各職能部門溝通。主要體現在以下方面:

1.流程審批溝通與業務流程沖突,反復溝通多次未果。

2.建設客商主數據需要改造合同系統(風控部)的功能,遭到較大阻力。

3.接入天眼查接口功能時涉及費用歸屬時,多次討論無果。

解決方案:阻力大是我們主數據項目實施的一個常態,在實施的過程中我們強調還是要多溝通多確認,在確認之后進行實施。建議將溝通問題加以區分,項目范圍內的技術問題由項目組出面解決;對應客戶內部的組織協調溝通的問題,需要甲方有能力的領導去協調去溝通。

(部分內容來源網絡,如有侵權請聯系刪除)
立即申請數據分析/數據治理產品免費試用 我要試用
customer

在線咨詢

在線咨詢

點擊進入在線咨詢