- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2023-07-12來源:巫淺淺瀏覽數:1477次
數據資產目錄的的建設過程不會是一蹴而就的,建設效果也不是立竿見影的,它本質屬于“地基”類工作,因此需要且值得投入精力去認真構建,一旦建成并夯實,在其上面的數據管理和應用工作將得到良好的支撐和保障,數據應用價值也會得到極大的釋放。企業在建設和運營數據資產目錄時,要具備長線思維,協調業務與技術人員共同參與,隨著業務發展持續迭代并創新,保證其落地執行、輸出價值。
精益數據方法強調通過共享、開放、協同的方式,讓企業的數據流動起來,共享起來,充分的協作起來,同時將數據治理融入業務場景中,在數據生產的全鏈路中實施數據治理工作。為了實現這一個目標,企業需要對應的技術平臺,也就是企業級數據資產目錄。
數據資產盤點表格模板詳見:企業數據資產盤點與數據標準梳理方法
01 什么是數據資產?
1.1.???數據資產的基本涵義
在理論層面,目前并沒有對數據資產的權威定義。我們選取業界較為認可的概念,即:數據資產(Data Asset)是指由企業擁有或者控制的,能夠為企業帶來未來經濟利益的,以物理或電子的方式記錄的數據資源,如文件資料、電子數據等。在企業中,并非所有的數據都構成數據資產,數據資產是能夠為企業產生價值的數據資源。
基于以上概念,可以得出數據資產最重要的三個特質:
可控的,企業除了擁有自己內部的數據外,對一些外部的數據可以通過可靠、合法的途徑獲取,也可作為企業數據資產的一部分;
有價值的,數據資產能夠給企業帶來效益和價值,但筆者認為此處的效益不應局限在經濟價值,還會有社會價值、信譽和品牌價值等等;
需要甄別的,并非所有的數據都能成為數據資產,所以企業要根據自身業務特點,在海量的數據中識別劃分出屬于自己的核心數據資產。
上面對數據資產的定義進行了解讀。那么,最重要的是企業如何確定哪些數據能夠作為資產進行管理,并進行應用。企業在業務發展和信息化建設過程中,積累了大量的業務數據,哪些可以作為企業的數據資產則是見仁見智。這里給出一個較為通用的識別原則和策略,供大家參考。首先,數據是業務活動在數字世界的投影,其本質作用是記錄業務對象及其活動過程。整體上可劃分為兩大類: 基礎業務數據:是對企業業務活動中諸如“人、事、物”的記錄; 洞察分析數據:是基于基礎數據計算出來的結果,反映業務活動的規律、趨勢、特征等,一般可理解為日常所說的“指標”。 其次,從數據價值衡量的維度來看,可從以下幾個方面來分析:業務權重:數據是否屬于企業核心業務運營范疇,越接近核心則越重要,其作為數據資產的必要性越高;
決策權重:對高層決策的重要程度,決定了數據能否作為數據資產的一項重要指標;
使用頻度:數據被使用的頻次越高,說明其重要性越高;
分布范圍:數據如果分布在多個業務域或者系統中,被很多不同的人員使用和共享,說明其支撐的業務越多,也越重要;
技術承載與可控性:通過技術手段,對數據進行獲取、維護、管控,其難易程度、成本、可控性等方面都可作為輔助性的衡量標準。
依據上述內容,我們構建一個數據資產識別矩陣,如下表所示:

02 數據資產目錄的價值
目前,數據資產目錄管理已經變成了數據治理工作中不可或缺的一個環節。企業在識別出自身數據資產的基礎上,進一步構建數據資產目錄,能夠幫助用戶更好的理解、使用以及分析數據。企業通過發現、描述和組織數據資產,形成一套企業數據資產的清單目錄,提供一套上下文背景信息,為數據分析師、數據架構師、數據管理專員和其他數據用戶,根據業務價值目標更好的查找和理解相關的數據資產。如果缺少了數據資產目錄管理工作的支撐,很多數據管理與應用的工作開展都如同盲人摸象,缺乏整體的數據藍圖,沒有有效的指引,由此導致了諸多不便和低效。例如:數據消費者不知道有哪些數據,也無法聯系到相應的負責人;
數據中心中承載了大量的數據,但卻是一片沼澤,找到有意義的數據只能依靠人工經驗進行指引;
組織內有多個數據源,沒有統一的途徑來精準識別數據源;
數據消費者沒有適當的流程進行請求與獲取目標數據;
數據消費者無法理解數據,更不知該如何使用數據;
數據多處存儲,多處更新,數據量不斷冗余增長,設備需要不斷擴容、維護能力需不斷提升,成本越來越高。
可以看出,數據資產目錄所解決的這些問題,分布在數據管理和應用的方方面面,因此數據資產目錄的價值也體現在不同的層面,可歸納總結為三個層次:


03 如何構建數據資產目錄?
數據資產目錄的建設分為四個環節,包含準備階段、目錄盤點與構建、審核發布、應用與運營管理。其中,前三個環節為數據資產目錄的構建過程、最后一個環節為數據資產目錄的使用和管理過程。如下圖:


04 數據治理工具如何承載企業數據資產管理?
數據資產目錄管理已經變成了數據治理工作中不可或缺的一個環節,建設數據資產目錄除了需要相應的組織和機制支撐,當然也離不開技術工具支持。
1、將數據資產盤點方法論融入資產盤點工作流程,支撐企業跨業務域、跨部門、跨專業領域的常態化數據資產盤點;
2、利用智能化標簽技術,對數據資產進行多維分類以及異常識別,提高資產盤點質量降低人工投入;
3、融合元數據、血緣關系、數據標準、數據質量、數據安全、認責管理等數據治理信息,構建適用不同業務場景的資產目錄服務;
4、結合企業數據治理過程中典型場景,提供數據資產包、眾包等功能服務對數據應用場景過程進行管理;
5、結合數據資產、業務知識、應用知識構建企業知識圖譜,方便數據應用參與者高效獲取技術、業務知識。

05 數據資產目錄的典型功能模塊
企業數據資產目錄是數據治理和利用的核心工具,數據資產目錄的 8 個核心功能模塊:
1. 數據獲取
數據資產目錄要提供全面的數據連接、獲取的功能,讓企業的各類數據能夠接入進來。在現在數據復雜度越來越高的情況下,企業數據資產目錄要兼容數據倉庫、數據湖、云上數據系統等多種數據源。但是,數據的存儲并不是數據資產目錄的核心功能,數據依然可以按業務需求以多種形式存儲在不同的地方。數據資產目錄要建立全面的數據注冊、接入、管理的能力,從而管理好每一個數據的全生命周期。
2. 數據探索
數據探索是數據資產目錄被使用最頻繁的功能,能幫助用戶縮短查找數據的時間,大幅度提升數據生產的效率。數據資產目錄提供的數據探索功能主要有以下幾點作用:
幫助用戶搜索到需要的數據和數據產品。
幫助用戶查看數據,為用戶提供全面的數據描述信息,也就是元數據,
幫助用戶更好地理解數據。
幫助數據探索數據的全生命周期信息,也就是數據血緣,從而確認數據的正確性。
所以,數據資產目錄要提供多樣化的數據探索功能,主要包括按關鍵詞搜索、按標簽搜索、按訪問熱度瀏覽、按相關性瀏覽等。數據運營人員要對用戶的行為數據等進行深度挖掘分析,從而幫助用戶快速定位到正確的數據,通過數據資產目錄給用戶推薦更匹配的數據。
3. 數據管理
數據資產目錄是根據數據資產藍圖構建的,界面信息呈樹狀結構。企業所有的數據資產,包括源數據、數據集、數據產品等,都要歸類并掛接到數據資產目錄中。并且數據資產目錄要通過豐富的業務和技術元數據對這些數據資產進行全面、清晰的描述,方便用戶打標簽和評論。精益數據方法認為,數據資產目錄不僅要管理好源數據,還要將所有二次加工的數據、報表、數據集等納入管理。
4. 數據質量管理
數據資產目錄不僅具備數據資產倉庫的作用,還要依據元數據和數據質量標準規范,構建起數據質量管理的能力。數據資產目錄要按業務需求對所有的數據資產進行掃描,然后將數據質量反饋記錄下來,從而在管理數據的同時全面監控數據質量。數據資產目錄要能夠跟蹤數據質量,生成數據日志,方便用戶整理和準備數據。此外,數據資產目錄使用人工智能來自動管理數據質量,主要管理工作包括檢測最近更新的數據存儲的異常情況,將業務術語和標簽添加到新數據集,檢測可能關聯的數據集,改善搜索體驗。
5. 異常監測和管理
數據資產目錄要構建起自動的數據監測功能,通過將數據治理的規范標準嵌入腳本中,掃描數據資產實時獲取數據資產和數據加工過程中的異常情況,起到監測重要數據問題的作用。
6.?數據可視化和分析
用戶在找到數據后要進行數據可視化和數據分析,所以數據資產目錄也需要將數據可視化和分析的功能集成進來,為用戶提供流暢的使用體驗。
7. 數據共享和協作
數據的生產、加工和利用是一個集體活動,所以數據資產目錄也要提供一定的共享和協作功能,大幅減少用戶在查找、生產和利用數據過程中的浪費。具體的共享和協作功能如下。
用戶可以共同編輯、維護元數據信息和數據知識庫。
用戶可以共享自己的數據探索、分析、生產、利用的成果,供其他用戶使用。
用戶可以給數據資產打標簽,做評論,從而發現問題,提出問題,供他人參考。
每一個數據和數據產品都關聯到具體的人或團隊,方便用戶之間進行交流。
用戶可以協作開發、協作編輯、協作建模。
??8.?元數據管理
元數據管理是數據資產目錄最重要的功能,也是最基礎的功能。數據資產目錄的整體運作就是以元數據為基礎的。數據資產目錄應該全面地管理所有數據的兩類元數據:技術元數據和業務元數據。數據資產目錄不僅要實現對元數據的定義和管理,還要通過工具和技術手段對接入的數據源自動進行元數據的采集和生成,從而減少人工的工作量,提升數據治理的效率。
06 總結
數據資產目錄的的建設過程不會是一蹴而就的,建設效果也不是立竿見影的,它本質屬于“地基”類工作,因此需要且值得投入精力去認真構建,一旦建成并夯實,在其上面的數據管理和應用工作將得到良好的支撐和保障,數據應用價值也會得到極大的釋放。企業在建設和運營數據資產目錄時,要具備長線思維,協調業務與技術人員共同參與,隨著業務發展持續迭代并創新,保證其落地執行、輸出價值。