主數(shù)據(jù)管理的歷史可以追溯到很久以前,可以說
主數(shù)據(jù)管理是生產(chǎn)生活的一部分。隨著社會生產(chǎn)力和生產(chǎn)工具的不斷發(fā)展,主數(shù)據(jù)和主數(shù)據(jù)管理在其中的作用不斷提升,成為當今政府、企業(yè)和社會團隊等組織管理中必不可少基礎(chǔ)管理工作,同時也促進了主數(shù)據(jù)管理工具的發(fā)展和升級。
主數(shù)據(jù)管理簡史
通常在討論某個主題之前,都有必要先了解相關(guān)歷史。同樣,在討論主數(shù)據(jù)之前,我們先來了解一下主數(shù)據(jù)的歷史。
最早的主數(shù)據(jù)管理的主體是人,主要的目的是收“人頭稅”。因此,人是最基本的主數(shù)據(jù)。
主數(shù)據(jù) 通常被描述為關(guān)于人、地點和事物的基本業(yè)務(wù)數(shù)據(jù)。主數(shù)據(jù)通常不是交易數(shù)據(jù),但在某些情況下,交易數(shù)據(jù)可以被視為主數(shù)據(jù),例如,如果有關(guān)產(chǎn)品、供應(yīng)商,以及供應(yīng)商的詳細信息,僅僅包含在交易數(shù)據(jù)(訂單和收據(jù))中,則必須將其用作主數(shù)據(jù)。主數(shù)據(jù)管理描述了一種用于管理數(shù)據(jù)的系統(tǒng),這個系統(tǒng)是宏觀的系統(tǒng)(不是特指計算機系統(tǒng)),也不同于實際數(shù)據(jù)。
但是,在主數(shù)據(jù)和交易數(shù)據(jù)被區(qū)分之前,廣義的數(shù)據(jù)就已經(jīng)存在了。而要了解這段歷史,我們必須先回溯過去。
數(shù)據(jù)的定義
在1640年代,無論是來自圣經(jīng)還是科學(xué)研究,數(shù)據(jù),即數(shù)據(jù)的單數(shù)形式,通常是指用作計算數(shù)學(xué)問題基礎(chǔ)的事實。
1890年,赫爾曼·何樂禮(Herman Hollerith)設(shè)計了穿孔卡片系統(tǒng),用于計算1880年美國人口普查數(shù)據(jù)。他在三年內(nèi)完成了這個目標,為美國政府節(jié)省了 500 萬美元。他之后還創(chuàng)立了IBM的前身。
當時的所有數(shù)據(jù),包括后來被稱為主數(shù)據(jù)的數(shù)據(jù),都存儲在穿孔卡片上。隨著美國人口的增長,
數(shù)據(jù)存儲變得更具挑戰(zhàn)性。于是,何樂禮選擇將數(shù)據(jù)分類為靜態(tài)和動態(tài),建立了基本主數(shù)據(jù)與交易數(shù)據(jù)分類系統(tǒng)。隨著計算機的進步,它們從打孔卡轉(zhuǎn)移到磁帶,然后轉(zhuǎn)移到基于磁盤的存儲。
赫爾曼·何樂禮(Herman Hollerith)
1939年,威拉德·科普·布林頓 (Willard Cope Brinton) 出版了《圖形演示(Graphic Presentation)》,“數(shù)據(jù)(data)”一詞開始流行。在他的書中,術(shù)語“數(shù)據(jù)”被用來描述從科學(xué)觀察或統(tǒng)計結(jié)果中獲得的結(jié)構(gòu)化測量。
1946年,“數(shù)據(jù)”的定義進一步擴展,用于描述“可以使用計算機傳輸和存儲的信息”。1954年,出現(xiàn)了“數(shù)據(jù)處理(data processing)”,1962 年出現(xiàn)了“數(shù)據(jù)庫(database)”(計算機中數(shù)據(jù)的結(jié)構(gòu)化存儲)。如果沒有穿孔卡,就不可能有“數(shù)據(jù)”后來的擴展定義和新用途。
中國現(xiàn)代的數(shù)據(jù)管理,尤其是企業(yè)數(shù)據(jù)管理,可以說是與信息化建設(shè)一同起步的,所以很多人對于數(shù)據(jù)的理解往往局限在計算機系統(tǒng)存儲的數(shù)據(jù)。其實上一個時代的“經(jīng)營計劃管理”的主體就是數(shù)據(jù),但這些數(shù)據(jù)主要關(guān)注的是“數(shù)字”,而非數(shù)字統(tǒng)計的主體——主數(shù)據(jù)。
主要的數(shù)據(jù)
1960年代,數(shù)據(jù)管理最初是由美國的數(shù)據(jù)處理服務(wù)組織協(xié)會(ADAPSO,Association of Data Processing Service Organizations)提出的一個概念,它轉(zhuǎn)發(fā)有關(guān)數(shù)據(jù)管理的建議,重點是質(zhì)量保證和專業(yè)培訓(xùn)。
主數(shù)據(jù)是1980年代數(shù)據(jù)管理程序出現(xiàn)的結(jié)果,包括主數(shù)據(jù)管理 (MDM)。
主數(shù)據(jù)可以描述為組織的核心數(shù)據(jù),包含開展業(yè)務(wù)所需的基本信息。這是相當穩(wěn)定的信息,僅在發(fā)生重大事件時才會發(fā)生變化,例如客戶搬到新地點。盡管主數(shù)據(jù)可以描述事務(wù),但它在設(shè)計上不是事務(wù)性的。
早期的主數(shù)據(jù)通常涵蓋四個域,這些域可細分為子域、實體類型或主題領(lǐng)域。主數(shù)據(jù)的四個一般域是:
客戶:子域包括客戶、員工和銷售人員。
產(chǎn)品:子域包括零件、商店和資產(chǎn)。
位置:子域包括辦公位置和地理分區(qū)。
其他:子域包括保修、許可和合同等內(nèi)容。
一些子域可以進一步劃分。例如,可以根據(jù)“普通客戶”和“執(zhí)行客戶”等分類,或根據(jù)他們的歷史來進一步劃分客戶。產(chǎn)品可以按部門和行業(yè)劃分。地理區(qū)域可以進一步細分為銷售區(qū)域或客戶集中度。
可用的分析和研究取決于主數(shù)據(jù)的準確性。主數(shù)據(jù)可以使用中央存儲庫存儲,來自單個或多個系統(tǒng),或通過索引集中引用。但是,當它被多個組織使用時,主數(shù)據(jù)可以在整個組織的各種應(yīng)用程序中分發(fā)和冗余存儲。此時,復(fù)制的數(shù)據(jù)可能不一致(或不準確),為了解決這個問題,主數(shù)據(jù)應(yīng)該使用在整個組織中共享的統(tǒng)一視圖,而且應(yīng)注意確保正確歸檔主數(shù)據(jù)的準確版本。策劃和管理準確的主數(shù)據(jù)對于最大限度地減少混亂和最大限度地提高效率是必要的。
在交易系統(tǒng)中,主數(shù)據(jù)通常與交易數(shù)據(jù)一起使用。當客戶購買產(chǎn)品或交付一箱材料時,將使用主數(shù)據(jù)。具有特定位置的產(chǎn)品將使用主數(shù)據(jù)來描述其在商店中的擺放位置。交易數(shù)據(jù)和主數(shù)據(jù)之間的關(guān)系可以看作是名詞/動詞關(guān)系。主數(shù)據(jù)捕獲名詞,例如“廣中西路555號”或“寶華國際廣場”,而交易數(shù)據(jù)捕獲動詞詞,例如“交付”、“購買”或“銷售”。
數(shù)據(jù)倉庫通常使用這種策略來分離數(shù)據(jù)。
數(shù)據(jù)管理應(yīng)用系統(tǒng)通常需要對主數(shù)據(jù)進行管理,這被稱為主數(shù)據(jù)管理 (MDM,Master Data Management)。MDM的使用為整個組織提供了通用定義,其目標是消除相互矛盾的或模糊的數(shù)據(jù),并為組織提供統(tǒng)一、準確的數(shù)據(jù)。
主數(shù)據(jù)管理
主數(shù)據(jù)管理在1990年代開始使用,部分原因是為了解決計算機系統(tǒng)需要輸入大量雜亂無章的數(shù)據(jù)的問題。
此時也恰逢新的監(jiān)管措施的實施,例如薩班斯-2002年奧克斯利法案(一項為上市公司制定財務(wù)和審計法規(guī)的聯(lián)邦法律)和償付能力 II 指令(歐盟指令,整合和協(xié)調(diào)歐盟保險法規(guī))。
在對新組織計劃和新法律的需求的推動下,不少組織迅速采用了 MDM 技術(shù)。在工信部發(fā)布的《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》中,重點提到了“數(shù)據(jù)資源開放共享程度低,
數(shù)據(jù)質(zhì)量不高,數(shù)據(jù)資源流通不暢,管理能力弱,
數(shù)據(jù)價值難以被有效挖掘利用”。其中的數(shù)據(jù)質(zhì)量不高主要由主數(shù)據(jù)管理能力不足導(dǎo)致,因此提升主數(shù)據(jù)管理水平成為重點。根據(jù)規(guī)劃,從2016年開始,政府層面開始提升主數(shù)據(jù)管理的重要性;在企業(yè)層面,隨著專業(yè)的業(yè)務(wù)應(yīng)用系統(tǒng)部署完成,主數(shù)據(jù)的統(tǒng)一、共享成為未來目標。
MDM是一種向組織提供指向其在一個文件中的所有基本數(shù)據(jù)的鏈接的方法,該文件稱為主文件或主數(shù)據(jù)文件,它提供了一個通用參考平臺。只要操作得當,主數(shù)據(jù)管理就可以簡化人員和部門之間的數(shù)據(jù)共享。
在中國,1990年代后,尤其是2001年加入世貿(mào)組織后,中國也逐漸進入了世界經(jīng)濟體系。先進的管理方法和經(jīng)驗,以及先進的信息技術(shù)得以在國內(nèi)廣泛應(yīng)用。
在歐美,管理電子化和信息化是一個工具升級的過程,是將已經(jīng)成熟的管理方法、管理實踐、管理經(jīng)驗通過新的工具平臺再次實現(xiàn)。比如主數(shù)據(jù)從記錄在紙質(zhì)的聯(lián)系卡片上,遷移到了電子計算機上。這個電子化的過程,將長期的、豐富的企業(yè)管理經(jīng)驗都逐步沉淀在了電子計算機中,包括后來的數(shù)據(jù)庫、應(yīng)用軟件、企業(yè)資源計劃系統(tǒng)、客戶關(guān)系管理系統(tǒng)等。

早期甘特圖
中國制造業(yè)的管理方法與歐美地區(qū)有較大的差異。改革開放后,新的管理方法隨著對外交流、外資和合資企業(yè)的建立進入中國,信息化建設(shè)和信息系統(tǒng)才被引入中國。
主數(shù)據(jù)是每一個信息系統(tǒng)中必備的組成基礎(chǔ)數(shù)據(jù)。因此,真正的主數(shù)據(jù)的概念,是通過信息化系統(tǒng)的引入和部署,帶給中國企業(yè)和企業(yè)管理人員的。這讓很多人產(chǎn)生了誤解——“現(xiàn)代化的管理必須要有信息系統(tǒng)”。
實際上,信息系統(tǒng)只是將已有的管理方法、管理實踐、管理經(jīng)驗通過信息化的手段表現(xiàn)出來而已,沒有電子計算機的信息化手段,這些管理方法、管理實踐、管理經(jīng)驗也是在實際管理中應(yīng)用的。
1980年代,中國開始改革開放,先進的管理思想進入中國。自沈陽第一機床廠從聯(lián)邦德國工程師協(xié)會引進MRPⅡ系統(tǒng),物料(Item)主數(shù)據(jù)的管理就已經(jīng)開始了。
主數(shù)據(jù)管理(MDM)在1990年代,隨著信息系統(tǒng)在中國的逐步推廣和使用而進入大家的視野。因此在中國,主數(shù)據(jù)管理帶有原生的信息系統(tǒng)屬性。在上世紀九十年代,主數(shù)據(jù)管理集中在單應(yīng)用的基礎(chǔ)數(shù)據(jù)管理層面,主要為某一個應(yīng)用提供基本的數(shù)據(jù),如,我們經(jīng)常會聽到的“會計電算化”,其中就需要管理會計科目主數(shù)據(jù)。
隨著信息化建設(shè)逐步開展,尤其是2001年中國加入世界貿(mào)易組織(WTO,World Trade Organization)后,全球化浪潮的推進,使得企業(yè)資源計劃(ERP,Enterprise Resource Planning)系統(tǒng)快速在中國推廣。同時,1990年代主要做會計電算化和財務(wù)核算的廠商,不斷整合早期的國內(nèi)制造資源計劃(MRPⅡ,Manufacturing Resource Planning)系統(tǒng)廠商和ERP廠商,促使國內(nèi)企業(yè)快速轉(zhuǎn)型,推出具體一定競爭力的企業(yè)資源計劃系統(tǒng),主數(shù)據(jù)管理進入以ERP系統(tǒng)管理為主的階段。
2010年后,經(jīng)過近20年的信息技術(shù)(IT,Information Technology)發(fā)展,企業(yè)的IT架構(gòu)逐步完善,多種類型的應(yīng)用系統(tǒng)逐步部署完成。ERP成為企業(yè)運營管理的標準配置,客戶關(guān)系管理(CRM)系統(tǒng)、預(yù)算管理系統(tǒng)等部門級的業(yè)務(wù)管理系統(tǒng)等也逐漸部署。
由于不同的應(yīng)用系統(tǒng)部署時間不同、技術(shù)架構(gòu)不同、實施廠商不同、方案設(shè)計不同,導(dǎo)致相同的基礎(chǔ)數(shù)據(jù)在需要在不同的系統(tǒng)中分別維護,沒有統(tǒng)一的標準、統(tǒng)一的流程和統(tǒng)一的管理。因此,提供基礎(chǔ)數(shù)據(jù)在多系統(tǒng)之間的共享,建立唯一性驗證規(guī)則,成為建設(shè)獨立主數(shù)據(jù)管理系統(tǒng)的關(guān)鍵動因。
此時,主數(shù)據(jù)管理系統(tǒng)主要提供簡單的編碼定義和名稱管理,及關(guān)鍵的屬性管理,為各個主數(shù)據(jù)的消費系統(tǒng)提供統(tǒng)一的編碼、分發(fā)的功能。但主數(shù)據(jù)管理咨詢工作一直在慢慢發(fā)展,隨著企業(yè)主數(shù)據(jù)管理需求不斷增強,專業(yè)的主數(shù)據(jù)管理咨詢和實施團隊開始形成,主數(shù)據(jù)管理系統(tǒng)也從套件模塊發(fā)展到定制開發(fā),逐步形成專業(yè)的主數(shù)據(jù)管理系統(tǒng)。
在2010年至2020年這十年中,大型集團型企業(yè)開始投入大量資金進行信息化建設(shè)和升級,支持集團型企業(yè)的主數(shù)據(jù)管理系統(tǒng)出現(xiàn)。隨后的幾年中,主數(shù)據(jù)管理快速發(fā)展。國際廠商有些以
數(shù)據(jù)庫軟件為基礎(chǔ),后切入企業(yè)級應(yīng)用軟件行業(yè);有些直接將豐富的行業(yè)管理經(jīng)驗沉淀成為企業(yè)級應(yīng)用軟件產(chǎn)品;有些則是專門從事數(shù)據(jù)管理的廠商;不同類型的廠商在其原有業(yè)務(wù)的基礎(chǔ)上,大力推進主數(shù)據(jù)管理。同時,國內(nèi)一些為企業(yè)客戶做定制開發(fā)業(yè)務(wù)的廠商,以項目定制化開放的系統(tǒng)為基礎(chǔ),也逐漸切入到主數(shù)據(jù)管理的領(lǐng)域中。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)