自2021年啟動企業級數據治理工作，做的第一個事情就是打造企業級數據目錄，今天就來談談企業級數據目錄的構建之路。

一、設立企業數據責任人是第一要務

大家都知道組織保障對于數據治理工作的重要性，但組織保障中最重要的工作是什么呢？

不是什么企業數據治理委員會，也不是什么數據治理辦公室，而是企業要明確設立企業數據責任人，因為任何組織、機制、流程都會僵化，只有企業數據責任人才能靈活的應對變化。只要企業數據責任人在，就能夠持續的給予數據團隊業務方向的指引和實際資源的的支持，沒有企業數據責任人，企業的數據治理工作就不可持續。

公司設立了企業數據責任人后，第一件事情就是定期召開數據治理跨部門聯席會議，重點推進解決跨部門跨領域的數據痛點難點問題，當所有部門的人能被組織在一起就一個數據問題開展討論，這就是巨大的成功，很多數據問題并不難，難的是有人決策拍板。

數據治理跨部門聯席會議第一次會議的第一項任務，就是要求數據管理部門牽頭，協同公司各部門進行系統與數據資產的梳理工作，這是企業級數據目錄構建的起點。

二、配備專門人員負責數據目錄工作

企業數據目錄是非常專業性的工作，即使是小如數據目錄梳理模板制定，數據目錄到底是按照主題分類，領域分類，或者是系統分類，都需要仔細分析，因地制宜。

因此，企業數據目錄是不可能靠外人幫忙打造的，咨詢公司也許可以提供一些建議，但也僅此而已，公司一定是要有專業的數據團隊人員來負責企業數據目錄的構建工作。

那么這些人員從哪里來呢？

從當前各部門從事數據相關工作的人里抽調。我們可以少做點報表，少做點取數，但一定要有人專項從事數據目錄的構建工作。

現在國家已經在考慮數據資產入表了，而企業如果連自己的數據資產家底都搞不清楚，怎么可能入表？試點都不可能。

想想一個公司財務部有多少人在搞現金、實物資產的管理，就應該能想明白企業應該有人去專門從事企業的數據資產的管理工作，這是全公司的事情，不是IT部門的事情。

三、構建企業級三大數據目錄的方法

企業數據目錄自底向上有三個層次，分別為數據資源目錄、數據資產目錄和數據開放目錄，對應于數據處理生命周期不同的階段。

數據資源目錄用于納管源端系統的所有資源，代表了一個企業的數據全景視圖。

數據資產目錄是數據資源入湖后加工完的全景數據視圖，能夠稱為資產的數據一般要具備業務價值屬性。

數據開放目錄是指在數據資產目錄基礎上刪選后進行開放的全景數據視圖，一般要綜合考慮數據安全性等因素確定，數據開放是數據價值進一步發揮的基礎。

三大目錄的關系如下圖所示：

1、數據資源目錄

每個企業都應該設計自己的數據目錄盤點方法，首先要確立盤點步驟，以下是一個“五步法”的示例：

（1）現狀調研：面向業務人員開展需求調研，明確范圍、內容、質量等要求

（2）制定模板：制定盤點的標準化模板，以指導各領域開展盤點工作

（3）系統梳理：由各領域數據責任人開展所轄IT系統的梳理

（4）審核確認：由公司數據責任人對領域梳理的數據資源進行審核確認

（5）資產發布：經過審核確認之后在企業級數據資源目錄上發布

其次是建立數據資源目錄的架構,，以下是一個五級目錄架構的示例：

（1）業務域：業務域以數據視角體現公司最高層面關注的業務領域

（2）業務子域：業務子域是互不重疊數據的高層面的業務分類

（3）業務系統：業務系統是信息架構的核心層，記錄業務相關的人事物

（4）數據實體：數據實體是具有一定邏輯關系的屬性的集合

（5）屬性：屬性是反映信息管理最小粒度，即表字段

最后是設計標準屬性，以下是40個標準屬性示例：

有了數據盤點方法這種頂層設計，才能讓企業各個領域按照統一的標準完成自身領域數據資源資源的盤點，從而初步形成企業級數據資源目錄。

在梳理的過程中，會涉及到填寫不準確，不規范等大量問題，因此還要因地制宜的制定操作規范，比如明確字段業務含義的描述方法。

這種細化的規范不可能一開始就定義的很明確，往往是邊做邊細化，逐步迭代。最關鍵的就是一定要先做起來，有些成果了，大家有信心了，再繼續完善。

2、數據資產目錄

數據資產一般是基于業務需要進行數據倉庫主題建模的結果，按照數據的加工程度自底向上可以分為為基礎模型、融合模型和挖掘模型。

基礎模型就是規范化后的數據，融合模型就是跨業務域整合后的數據，挖掘模型就是通過建模后獲得的知識，比如標簽等等。由這三類數據形成分層級的數據資產目錄的第一層，然后在基礎模型、融合模型、挖掘模型下還可以按需進行層級的進一步劃分，具體如下所示：

3、數據開放目錄

數據要素要充分流動起來才有價值，因此企業數據治理組織除了自己加工數據，還需要對外去開放數據，但對外開放數據不是越多越好，而是要在確保安全的條件下實現數據價值的最大化，這就需要在數據資產目錄的基礎上生成第三個數據目錄，即對外開放目錄，下面是一個示例：

不同的數據敏感程度不同，開放的對象和審批的要求也不一樣，因此對外開放目錄必須標識清楚每個數據的敏感等級，比如快捷開放、可控開放、嚴控開放等等，針對每個敏感等級數據要制定不同的開放流程，比如數據上架流程，數據等級標注流程等等。

四、實施企業數據目錄動態閉環管理

完成了企業數據目錄的制定只是第一步，最關鍵的還是要實現數據目錄的閉環運營，即確保數據目錄的常態化動態更新。

很多企業雖然建立了數據目錄，但這些目錄的構建往往是項目式的，一旦項目完成，關注點轉移，數據目錄就基本停止更新或者很少更新，這樣的數據目錄也就逐漸失去了價值。

我們需要圍繞數據目錄建立一套保障機制和流程，下面以數據資源目錄動態更新為例說明，共分為四個步驟：

（1）數據自動發現

第一、要實現源端系統的元數據的自動采集和管理，這是實現數據資源目錄動態更新的前提，依賴于企業系統資產的全量梳理和系統資產變更信息的及時同步，我們要能及時發現新增和變更的系統并獲取連接的方式，如下所示：

第二、要實現針對源端數據資源的實時掃描，自動發現變更的數據資源并同步相關元數據信息，從而觸發后續后續一系列的數據資源目錄的變更流程，比如我們每月發現的變更數據資源超過800項，因此會觸發800個任務單去進行審核確認。

（2）數據價值的判斷

掃描到的新增數據資源并不一定要入湖，因為很多領域的數據資源沒有現實的業務價值，采集進來并且維護這些數據的性價比非常低，這個時候就要由領域數據責任人對數據價值進行判斷并進行標識，標識為價值數據資源則啟動入湖流程。

（3）元數據補充錄入

領域數據責任人需要基于數據標準對數據資源的元數據進行補錄和完善，公司數據責任人進行審核，共同確保元數據的質量。

（4）.數據目錄審核發布

根據數據盤點結果，自動對數據資源目錄進行動態更新，使得數據資源目錄保持在最新狀態，確保數據資源找得到，看得懂。

數據資源動態目錄一旦建立起來，就可以基于數據資源動態目錄實現一鍵入湖的能力，省去了傳統ETL復雜的系統對接、需求確認、開發配置、部署上線等系列工作，大幅提升ETL的效率，這也算是實現了真正的數據編織能力，如下示例。

數據目錄的閉環運營是個復雜的過程，比如數據資源目錄需要領域責任人完善元數據，數據資產在上架到數據開放目錄之前需要明確數據敏感等級，這些都需要建立相關的制度和流程才能保障。因此，一個企業是否具備數據編織能力，前提是管理到位，光吹技術是沒有用的。

五、打造企業級的數據目錄管理平臺

系統是流程的保障，三大目錄都要有相應的流程支撐平臺，數據目錄是跟著生產流程走的，千萬不要打造什么專有的數據目錄管理平臺。

以數據資源目錄為例。

公司需要打造企業級的數據資源管理平臺，實現數據資源目錄的線上化、自動化管理，確保數據資源能發現、能找到、能看懂，同時為數據入湖提供一站式支撐。

數據資源管理平臺的功能架構如下所示，共分為數據盤點線上化、數據入湖配置化、數據資源可視化及后臺管理配置化等功能。

數據盤點線上化主要是對源端系統進行自動化掃描，通過對元數據的采集形成數據資源目錄。

數據入湖配置化主要基于數據資源目錄對源端數據進行入湖。

后臺管理配置化主要是實現對數據資源目錄的配置管理及標準管理，數據資源可視化主要面向運維管理人員和資源運營人員，提供數據資源看板等功能。

數據資產目錄的管理一般集成在數據開發管理平臺，數據開放目錄的管理則是在數據開放管理平臺進行承載，這三大目錄既相互聯系，又分別為不同的業務目標服務。

數據目錄往往是企業數據治理的起點，一個企業只有把數據當成賬本那么管理，為其建立一套保障機制和流程，才有資格說我真的把數據當成了資產和資本，如果連這一點都做不到，就不要提什么重視數據諸如此類的話了。