- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-05-31來源:短發菇涼瀏覽數:404次
審計機制是評估數據資產管理的規范、規劃、組織機構、制度體系的執行狀況的監管方法,以保障、評估數據資產的安全性、準確性、完整性、規范性、一致性、唯一性和時效性。
當前,國內外數據管理領域的相關學者和組織面向不同的應用場景提出了多種數據資產的管理體系。例如,國際數據管理協會于2009年發布了數據管理的知識體系(DMBOK1.0),將數據管理體系劃分為10個領域,分別是數據治理、數據操作管理、數據體系管理、數據開發、數據安全管理、參考數據和主數據管理、數據倉庫和商務智能管理、文檔和內容管理、元數據管理以及數據質量管理,并以此體系為理論基礎,推出數據管理專業人士認證(certified data management professional,CDMP)。卡內基梅隆大學旗下機構于2014年以軟件能力成熟度集成模型(capability maturity model integration,CMMI)為參考,發布了數據能力成熟度(data management maturity,DMM)模型,包含六大職能域:數據管理戰略、數據操作、數據質量管理、數據治理、數據平臺和體系、支撐流程,在中國、美國等多個國家培訓了一批評估師,并在微軟等公司進行了模型驗證,使該模型具有較強的實踐指導能力和可推廣性。全國信息安全標準化技術委員會在借鑒國外相關數據資產管理體系的基礎上,于2018年提出了數據管理能力成熟度模型(data management capability maturity model,DCMM),定義了數據管理能力成熟度評價的八大能力域:數據戰略、數據治理、數據體系、數據標準、數據質量、數據安全、數據應用、數據生命周期管理。在吸納各界公認的數據資產管理體系的基礎上,以最大化數據價值為目標,重點構建了包含數據運營及關鍵活動的數據資產管理體系,從而全面提升數據價值。本體系將數據資產管理的管理職能擴展至數據標準管理、主數據管理、數據共享管理、數據安全管理和數據價值管理,并細化了數據資產管理中的技術平臺,力圖建立一個全面的、面向價值實現的數據資產管理體系,指導企業開展數據資產管理,有效提升企業的數據資產管理能力,加速數據價值的釋放。如下圖所示,本文提出的面向價值實現的數據資產管理體系包括4個部分:數據管理職能、數據運營、技術平臺和保障措施。
數據資產管理體系數據管理職能作為數據資產管理體系的主體,通過各職能的配合,有助于對數據進行標準化和規范化,提升數據質量,完善數據體系,記錄追溯數據,打破數據孤島,建立安全數據環境。數據運營作為數據資產管理體系的核心,通過明確數據權屬,評估數據價值,實現可信數據交易和多樣數據服務,促進數據流通,加大數據開放的廣度、深度,加快數據流轉速度和數據資產化進程。技術平臺作為數據資產管理體系的技術支撐,依托覆蓋數據管理職能和數據運營的全生命周期技術,實現數據高效采集,降低數據存儲成本,提升數據處理效率,深入分析挖掘數據,豐富數據應用場景。保障措施作為數據資產管理體系的制度基礎,通過制定戰略規劃,完善組織架構,建立制度體系,設置審計機制和開展培訓宣貫等環節,確保數據資產管理工作的有序開展。
01? 數據管理職能 數據管理職能包括數據標準管理、數據質量管理、元數據管理、主數據管理、數據模型管理、數據共享管理、數據安全管理和數據價值管理8項管理職能。
數據標準管理是指數據標準的制定和實施的一系列活動。企業或相關機構在開展數據標準管理時,應首先對數據標準進行分類(如基礎類數據標準和指標類數據標準),并規定各數據標準類別下的基本單元(可以稱為“數據元”)及其屬性。同時,應制定數據標準管理辦法或相應的實施流程要求,開展評估數據標準管理效果等工作。數據質量管理是指運用各種技術衡量、提高和確保企業數據質量的規劃、實施與控制等一系列活動。企業在開展數據質量管理時,應明確數據質量評價指標,通常包括完整性、一致性、唯一性、規范性、時效性等,在不同的應用場景下,數據質量評價指標有所擴展。同時,企業應持續測量和監控數據質量,分析數據質量問題的原因,制定數據質量改善方案。元數據管理是指通過對描述數據的數據進行管理,以實現對數據的全生命周期管理的過程。企業在開展元數據管理時,應對元數據進行分類,通常分為技術元數據、業務元數據以及管理元數據,分別對應數據涉及的技術領域、業務領域以及管理領域,確保元數據覆蓋的全面性。同時,企業應開發和維護元數據標準,進而對元數據進行分析(如血緣分析、影響分析和數據地圖等)。主數據是指描述企業核心業務實體的數據,用以協調和管理與企業的核心業務實體相關的系統記錄數據。企業開展主數據管理時,應篩選具備核心業務屬性的數據作為主數據,明確多業務系統共用數據的唯一可靠來源,并充分復用數據標準、數據質量規則、數據模型等已有的數據資產管理成果。同時,企業應實施主數據解決方案,監控主數據變化。數據模型是對數據特征的抽象,數據模型管理通常是指在信息系統中用數據模型表示業務規則和邏輯的過程。企業開展數據模型管理時,應明確業務體系和數據組織結構,通常業務體系由概念模型和邏輯模型表示,數據組織結構由物理模型表示。同時,企業應制定數據模型管理辦法和實施流程要求,統一管控企業數據模型,確保數據模型的落地。數據共享管理是指企業開展數據共享和交換,從而實現數據內外部價值的一系列活動。企業開展數據共享管理時,應定義數據資產內部共享管理辦法和實施方案,監督數據內部共享和外部開放的合規性。數據安全管理是指對數據進行安全分級分類等操作,確保數據全生命周期管理和數據共享使用的安全合規性。企業在開展數據安全管理時,應定義數據安全標準和策略,定義數據安全等級,部署數據安全防控系統或工具,審計數據安全。數據價值管理是指為了提升數據價值,通過數據應用價值和數據管理成本量化和優化數據價值的過程。企業在開展數據價值管理時,應確定數據存儲、計算和運維的成本預算,明確數據成本和收益的具體計量指標,制定降低數據成本和提升數據價值的策略,持續評估數據價值,并改進評估方案。
02? 數據運營 數據運營包括數據確權、價值評估、數據服務和數據流通4個方面。
數據確權是數據資產化的前提,主要指數據的所有權和使用權。于2018年5月生效的歐盟的《通用數據保護條例》、于2020年1月生效的美國的《2018年加州消費者隱私法案》以及中國的《中華人民共和國個人信息保護法》均明確了數據所有權歸屬于數據主體,且數據主體擁有知情權、訪問權、反對權等多項權利,并規定了數據使用者的義務,包括事先咨詢義務、數據泄露報告義務、安全保障義務等。但是,由于目前數據確權仍停留在法律法規層面,且對于加工后的數據的所有權存在爭議,因此存在大量忽視數據所有權、濫用數據使用權的問題,而區塊鏈技術利用數據溯源和記賬的手段,為數據所有權和使用權的界定和監管提供了新的思路。價值評估是指在數據質量、數據應用和數據風險等維度對數據進行估值的過程。常用的數據資產價值評估方法主要有成本法、收益法和市場法3類。其中,成本法從資產的重置角度出發,重點考慮資產價值與重新獲取或建立該資產所需成本之間的相關程度;收益法基于目標資產的預期應用場景,通過未來產生的經濟效益的折現反映數據資產在投入使用后的收益能力;市場法則是在相同或相似資產的市場可比案例的交易價格的基礎上,對差異因素進行調整,以此反映數據資產的市場價值。目前,由于數據交易、數據服務和數據流通尚未成熟,市場法并未得到廣泛的應用,多數企業將數據存儲計算作為成本計量維度,將數據使用熱度作為收益計量維度,并通過建立動態的估值模型,實現主觀與客觀相結合的數據價值評估。數據服務是指為滿足數據使用者的需求而提供的多樣化服務方式。企業在開展數據服務時,需明確數據使用者的角色和需求,以制定相應的數據服務策略。對于數據分析人員來說,其需要的可能是數據湖中的原始數據或數據管理流程中的記錄;對于業務人員來說,其需要的可能是清洗后的數據或數據統計分析結果。同時,企業也應提供多種數據服務方式,包括在線數據服務、數據服務訂閱和數據API等。數據流通是指在數據提供方和數據需求方之間按照一定流通規則進行的以數據為對象的行為。數據流通通常包含企業對內的數據共享、企業對外的數據交易。數據流通是釋放數據價值的關鍵環節,但由于數據孤島、數據確權和價值評估的限制以及數據交易政策和監管的缺失,數據流通的發展面臨諸多困難。 03? 技術平臺 技術平臺主要包括數據采集、數據存儲、數據處理和數據分析。
數據采集是指從數據生產端提取數據的過程。數據采集技術根據生產端的不同而有所不同,具體包括系統日志采集、網絡數據采集和數據庫采集3種方式。系統日志采集常用的開源技術包括Apache Flume和Facebook Scribe。Apache Flume采用分布式架構處理流式數據,保證了日志數據采集的可靠性和實時性;Facebook Scribe的特征是分布式共享隊列,提供了一定的容錯性能。網絡數據采集多采用合法合規的網絡爬蟲或網站公共API的方式(常用的網絡爬蟲系統包括Apache Nutch和Scrapy等框架),快速提取非結構化和半結構化數據。數據庫采集是指通過將數據庫采集系統與企業業務后臺服務器相連,保證企業實時產生的業務數據可以寫入數據庫中,如傳統的關系型數據庫、NoSQL數據庫以及大數據采集技術。數據存儲是指選擇適當的方式組織和存放數據。文件系統是最早使用的存儲技術,將數據組織成相互獨立的數據文件進行管理。數據庫在文件系統的基礎上發展而來,不再以文件為單位存儲數據,而是以記錄和字段為單位對數據進行管理,實現了數據整體的結構化。目前數據存儲的方式和種類越來越豐富。數據處理是指數據由存儲端到數據匯聚端的清洗過程,通常是指由數據庫到數據倉庫的抽?。╡xtract)、轉化(transform)和加載(load)的過程(簡稱ETL)。目前,已有較為成熟的工具,以任務流的方式定時批量完成ETL,部分工具以可視化任務流而非代碼的方式配置任務,部分工具融合了數據準備和數據清洗的功能,如根據統計結果完成數據剖析。數據分析是指通過相關技術實現對數據的深度分析和利用的過程。數據分析技術主要包括數據可視化、自動化數據建模和情景感知處理分析。數據可視化包括以SPSS、SAS、R為代表的基于數據分析的可視化工具,以Google Chart API、Tableau為代表的動態渲染的可視化工具和以Modest Maps為代表的地圖可視化工具。自動化數據建模包括Google公司的Cloud AutoML、微軟公司的CustomVision.AI等技術平臺,實現以計算機自動化的方式完成傳統的人工智能(artificial intelligence, AI)模型訓練過程。情景感知處理分析的核心技術包括情景信息采集技術、情景信息建模技術、情景信息處理技術。
04? 保障措施 完善的數據資產管理體系需要一定的保障措施來確保各項管理職能落到實處。保障措施通常包括戰略規劃、組織架構、制度體系、審計機制和培訓宣貫5個方面。
對于企業來說,建立數據資產管理的保障措施應充分考慮當前信息化建設的程度和企業數字化轉型階段,并評估數據應用前景和數據資產管理可能存在的困難,以確保保障措施的業務一致性和管理可行性。戰略規劃是企業開展數據資產管理的指導藍圖,通常由企業管理層或領導層制定,包括數據資產管理的目標、指導原則、實施路線等內容。隨著數據價值的顯現,越來越多的企業不再將數據資產管理規劃局限于某一部門(如信息管理部門),而是將其作為企業戰略的重要環節,并在戰略規劃階段成立專門的數據管理部門,以連通IT部門和業務部門。組織架構是企業為開展數據資產管理而設置的部門。典型的組織架構主要由數據資產管理委員會、數據資產管理中心和各業務部門構成,其中:
數據資產管理委員會作為數據資產管理的主要決策者,負責決策指導數據資產管理工作;
數據資產管理中心作為數據資產管理的主要管理者,負責執行和監督數據資產管理工作;
各業務部門作為數據資產管理的數據提供者、數據開發者和數據消費者,在參與數據資產流通和服務工作的同時,也應反饋和維護數據資產管理工作。 制度體系是一套覆蓋數據采集處理、共享流通等全過程的數據管理規范,保證數據資產管理工作有據、可行、可控。制度體系通常包括數據管理職能相關規范(如管理辦法和實施細則)、數據資產管理技術規范(如數據字典規范、數據模型設計規范、數據接口規范等)。審計機制是評估數據資產管理的規范、規劃、組織機構、制度體系的執行狀況的監管方法,以保障、評估數據資產的安全性、準確性、完整性、規范性、一致性、唯一性和時效性。通常來說,審計由專業人員進行,審計對象包括數據權限使用制度及其審批流程、日志留存管理辦法、數據備份恢復管理機制、監控審計體系規范等。培訓宣貫是指企業為提升員工的數據資產意識和數據資產管理專業化水平而開展的一系列培訓和考核過程。在培訓方面,企業可組織員工參與行業現有數據資產管理體系課程,或開展優秀部門和員工的經驗案例分享;在考核方面,企業可將數據資產管理納入現有考核體系,樹立行業、員工優秀模范,深化數據資產管理理念,提升數據資產管理技術能力。(本文來源大數據期刊,作者李雨霏、劉海燕、閆樹)