徘徊的愛

2022-12-14

在理解主數據、解決數據問題之前，首先，我們要明確到底有哪些數據或哪幾類數據？當然，數據按照不同維度、不同語境可以分為不同的類，比如結構化和非結構化化、交易和非交易數據、行業數據和公司數據等。從數據治理或信息化項目的角度，數據一般分為：數據元、元數據、主數據、參考數據、常規數據等。

數據（data）：根據《信息技術數據元的規范和標準化》(GB/T18391.1-2002)，數據是指對事實、概念或指令的一種形式化標示，適用于以人工或自動方式進行通信、解釋和處理。

數據元（data element）指用一組屬性描述定義、標識、表示和允許值的數據單元。在特定的語境中，可以認為是不可再分的最小數據單元，也可以直觀理解為數據庫表的列，對象、特征、表達是數據元的三要素，比如“今天股市收盤是2500點”數據元，其中“今天股市”就是對象，“收盤”是特性，“2500”是表達。

元數據（MetaData）指描述數據的數據，也指幫助查找、存取、使用和管理信息資源的信息。為便于理解元數據和數據元，作者舉個例子，比如我們要向中證金融報送兩融數據，數據報送接口規范中有許多表，每個表有許多列，每個列有填報要求比如類型、是否為空。每個填報字段可以認為是數據元，而每個填報字段的填報要求可以認為是該字段的元數據，而每個字段可以認為是該表的元數據。也即數據元和元數據本身也是數據，在不同的上下文有不同的定義和理解，本身都是個相對的概念，意識到這點才能很好理解兩者的關系。現實中，元數據常見用于描述數據庫中所有數據的語境，而數據元通常用在行業標準制定。

參考數據（reference data）指數據可能的取值范圍及其解釋，也即我們常說的數據字典。數據字典雖然很好理解，但行業現實中，由于每個系統有不同的數據字典，甚至同一系統內也有不同數據字典，而且沒有統一標準，間接造就了大量的數據孤島，也需要加強治理。

常規數據（作者自己定義），是與每日業務開展或每個業務人員最為關注的那些數據，比如交易、審計、采購訂單、銷售訂單、報表等等數據，

主數據（master data），通常是不隨或很少隨時間變化的靜態數據，并且與個體活動或流程無關，比如客戶、證券標的、金融產品、會計科目等信息，這些信息構成了公司的業務。主數據掌控交易數據如何被處理并決定著決策的精準度。主數據管理，本質上是各業務人員利用IT工具進行協作，來協調、清理、發布和保護企業需要共享的數據資產，保證企業核心信息的一致、準確和安全。主數據也是大數據建設中的重點內容

元數據和參考數據一般與系統或數據庫底層設計有關，相對變化頻率非常低；而主數據與技術有關，與業務關系更為密切，相對變化頻率較低，也是常規數據的基礎；而常規數據則變化頻繁，只要展業基本都會累加，且實時性要求較高。基于以上分類和分析，作者認為，由于主數據與業務聯系緊密且是一般數據基礎，加上又有一定變化（頻率很低），數據治理的重點領域是上述四類數據中的主數據，這應該也是SAP、ORACLE等國際巨頭反復打磨并推出主數據管理解決方案的原因。