日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

數據資產入表解決方案

高效數據資產入表規劃,專業數據合規,精確成本分攤,釋放數據價值,助力國央企和上市公司一站式數據資產入表。

數據資產入表解決方案

高效數據資產入表規劃,專業數據合規,精確成本分攤,釋放數據價值,助力國央企和上市公司一站式數據資產入表。

談談數據質量管理在數據資源入表中的實施方法和路徑

時間:2024-01-06來源:數據驅動智能瀏覽數:167

摘要:數據資源入表是數據資產化的標志,數據資源是否能夠順利的向數據資產轉化并計入資產負債表很大原因取決于數據的質量。本文系統的論述了數據質量管理在企業數據資源入表中的實施方法和路徑,包括數據資源入表的背景、數據資源入表的方法、數據質量管理在數據資源入表中的定位以及數據資源入表中數據質量管理的方法和實現數據資源入表數據質量管理的路徑及建議。本文的論述為當前企業數據資源入表中的數據質量管理提供了可行的思路和方法,希望能為企業數據資源入表起到借鑒作用。

一、數據資源入表背景

數據相當于數字化轉型的“貨幣”。企業若能解鎖數據價值,就能夠充分發揮邊緣到云端數據的作用。數據價值指的是組織從數據資產中獲得的益處和優勢,比如創新、服務、安全措施、改進決策、改善客戶體驗、提升運維效率以及開辟新價值創造模式。在當今的數字化經濟時代,數據是組織的重要資產。近些年來,數據價值已取得顯著增長。雖然產生的數據量驚人,但獲取、存儲、處理和分析數據的技術越來越便利,組織因而能夠從數據中獲得新洞見,進而做出數據驅動型決策。數據對于企業至關重要的原因如下:

第一,數據是一種重要資源。若妥善利用,可推動創新。組織通過利用數據和諸如人工智能與機器學習之類的尖端技術,可以獲得解決問題的新思路,并推進所屬領域的創新。

第二,數據可以幫助組織改善客戶體驗并提高客戶忠誠度。組織可以通過利用客戶數據,為客戶提供個性化的產品和服務以及互動體驗,這有助于提高客戶滿意度和忠誠度。此外,組織可以利用數據加深對客戶行為的了解,發掘有利于業務增長和創收的新商機。

第三,數據可以幫助企業開辟新的價值范式。組織可以利用他們的數據資產開發新產品和新服務,以及洞悉新商機。組織還可利用數據建立新的盈利模式,比如向第三方銷售數據驅動型洞見。

第四,數據對于企業安全措施的采用至關重要,因為數據可以幫助組織識別進而防范安全威脅。此外,組織還能利用數據開發預測模型,通過識別反映安全漏洞的行為模式檢測潛在的安全事件,防患于未然。

最后,數據為組織提供寶貴的洞見,可幫助企業做出更明智的決策。組織可以深入了解其情況運營、客戶以及市場,做出有利于提升總體效率和成效的數據驅動型決策。

那么如何衡量數據的價值呢?結合具體貢獻和重要性來看待數據是最簡單的價值衡量方式。誠然,收集、分析和存儲數據難免會產生成本,但當數據真正帶來盈利或用于決策時,諸多優勢便會顯現出來。眾所周知,數據會貶值,因為數據價值會隨時間的流逝而減少乃至消失。數據固有風險的水平往往可用于確定其價值:風險越大,價值越高。巨大的風險也昭示著數據具有同等水平的價值。領先的企業會在數據密集型問題尚未顯現之前,便在策略和工具方面進行相應的投資。衡量數據價值的方法多種多樣,包括:

如何利用數據為企業運營和決策提供支持、推動銷售、提升生產效率,進而創造更多業務價值。

從外部來源獲取同等數據所需的費用。

數據對于決策過程的貢獻。

數據固有的價值涉及多項要素,比如準確度、完整性以及相關性。

保護數據收集和使用人員的隱私。

同時,數據價值具有隨機性,且取決于具體的用例和使用場景。企業可以通過多種方式為衡量數據價值提供支持,包括:

數據質量評估:評估數據的準確性、完整性和相關性,以確定其信息價值。

數據盈利:評估可從數據中獲得的潛在收入,包括通過銷售數據或依據數據洞見開發新產品和服務。

數據治理:確保妥善管理和保護數據以維護其隱私價值。

數據分析:通過使用數據為決策提供支持,提高效率、增加收入,進而創造更多業務價值。

數據是具有價值的重要資產成為企業普遍共識。2020年中共中央、國務院提出將數據并列作為第五大項生產要素,圍繞數據要素、數據資源、數據應用等相關政策和話題研究成為了社會關注的焦點之一。2022年12月中共中央、國務院發布的數據二十條明確了數據權屬的三權分置,為數據向數據資產轉化提供了重要基礎。2023年8月財政部發布的《企業數據資源相關會計處理暫行規定》提出企業應當按照企業會計準則相關規定,根據數據資源的持有目的、形成方式、業務模式,以及與數據資源有關的經濟利益的預期消耗方式等,對數據資源相關交易和事項進行會計計量、確認和報告。數據不僅是企業的重要資產,同時我國把數據上升為生產要素,既然是生產要素就要衡量其對企業的價值貢獻,因此就要把數據資產的價值按照無形資產或存貨計入資產負債表。

二、數據質量對數據入表影響

數據資源入表是數據資產化的重要標志!那么,數據資源入表也體現了數據的價值化和貨幣化,就需要對數據資產的價值進行的評估。根據《數據資產評估指導意見》,確定數據資產價值的評估方法包括收益法、成本法和市場法三種基本方法及其衍生方法。

在收益法中提到:要綜合考慮數據資產的的更新時間、數據資產的時效性、數據資產的權利狀況以及相關產品生命周期等因素,合理確定經濟壽命或者收益期限,并關注數據資產在收益期限內的貢獻情況。

在成本法中提到:確定數據資產價值調整系數,例如:對于需要進行質量因素調整的數據資產,可以結合相應質量因素綜合確定調整系數;對于可以直接確定剩余經濟壽命的數據資產,也可以結合剩余經濟壽命確定調整系數。

在市場法中提到:對比該數據資產與可比案例的差異,確定調整系數,并將調整后的結果匯總分析得出被評估數據資產的價值。通常情況下需要考慮質量差異調整、供求差異調整、期日差異調整、容量差異調整以及其他差異調整等。

也就是說,無論采用收益法估值、成本法估值還是市場法估值,數據質量都對數據資產的價值產生重大影響。意味著入表的數據質量越高,數據資產的估值就會越高,入表的數據質量越低,數據資產的估值就是越低。數據質量影響數據資產化,數據資產化影響數據資源入表。因此,數據質量對數據入表就產生重要影響。

三、數據質量管理在數據資源入表中的方法

1.數據資源入表的方法

數據資源入表可以分為四大階段十六項核心工作,如下圖1所示。

圖1數據資源入表方法

第一階段:政策解讀

這一階段需要企業的數據管理部門、信息管理部門、財務管理部門、法務管理部門及各核心業務部門需要了解數據資源入表的背景及政策,主要涉及以下幾個國家政策及法規:

(1)《關于構建數據基礎制度更好發揮數據要素作用的意見》也叫“數據二十條”

(2)《企業數據資源相關會計處理暫行規定》

(3)《會計準則》關于無形資產和存貨的認定相關內容

(4)《數據安全法》

(5)《個人信息保護法》、《網絡安全法》及行業相關管理規定

第二階段:入表準備

這一階段是入表前的準備階段,包括企業財務制度修訂、數據資源標準化及數據治理、數據資源盤點、數據資源認定。

(1)財務制度修訂主要是指有些企業以往的財務規章制度可能沒有數據類無形資產和存貨的規定和要求,所以需要進行修訂為入表做制度保障。

(2)數據資源標準化及數據治理主要是企業針對數據資源要進行分類、編碼、說明以及數據治理相關工作,以免同類數據資源在不同分子公司重復入表的風險。同時,標準化的數據資源也有利于管理,保障數據資源的質量,通過數據治理更好體現數據資源價值。

(3)數據資源盤點主要是指按照分類將所屬的數據資源盤清的過程,該過程有利于盤清數據資源底數,有利于數據資源質量保證,有利于資源向資產轉化。

(4)數據資源確認是根據盤點的結果確認為是企業數據資源。

第三階段:入表階段

這一階段是正式入表工作開展,主要包括入表條件確認、資源價值評估、入表風險評估、數據資源入表及核查。

(1)入表條件確認主要是確認作為資產的數據資源到底哪些是無形資產、哪些是存貨、哪些可以入表、哪些無法入表。

(2)數據資源價值評估在首次入表主要采用成本計價法入表,需要按照數據資產采集、維護、管理等各項成本計入,注意的是避免重復計價。

(3)入表風險評估主要是根據數據安全法、個人信息保護法、行業法規要求進行核驗,保證入表的數據資源是合規的。

(4)數據入表及核查主要是確定入表的數據資源根據企業財務管理辦法逐項計入,注意的是通過核查避免重復計入。

第四階段:常態運行

數據資源入表是新開展的工作,是一項新事物,必然有個從開始到常態化管理的過程,因此在實踐中要不斷總結經驗,加強行業和跨行業的入表工作交流,實現常態入表的實現。這一階段工作主要包括持續數據資源入表、數據資源審計及數據資源披露。

(1)持續數據資源入表類似于其他生產要素,實現常態化數據資源入表,數據是不斷產生的、管理和運維工作持續進行、數據價值不斷變化等,因此數據資產入表也是一項持續的工作。

(2)數據資產審計類似于財務審計,也會有內部審計和外部審計,因此做好數據資產審計也是確保數據資產價值有效性的保證。

(3)數據資產披露主要分為強制披露和自愿披露,不同行業性質不同,披露的要求和策略也不相同,因此企業需要根據自身的所在行業和特點制定相關的披露制度。

同時在數據資源入表時也要建立相應的組織保障體系,包括數據治理組織、數據管理組織、財務管理人員、法務合規管理人員等。數據治理組織開展制度、流程、考核機制建設;數據管理組織保障最大實現數據資產價值;財務管理人員客觀評估數據資產價值;法務合規人員保障數據資產的應用符合法律法規的要求。

2.數據質量管理在數據資源入表中的定位

數據質量是數據向數據資源和數據資產轉化的基礎。數據質量不高將導致數據價值不高,就無法實現數據向數據資源和數據資產的轉化,因此數據質量管理對數據資源入表起到至關重要的作用。數據質量的主要作用體現在數據全生命周期管理中的數據質量管理和數據治理中的數據質量治理,如圖2所示。

圖2數據質量在數據入表中的定位

數據質量是企業取得成功的基石,是企業做出明智決策、提高運營效率和推動增長的基礎,這也是數據的價值所在。數據質量差的后果可能是深遠的,并且有損于企業的利潤。例如,基于不準確的客戶資料或依賴于過時信息的銷售預測的營銷活動,后果也是災難性的,導致資源浪費、錯失機會并損害客戶信任。也就是說低質量的數據難以成為數據資產,從而影響數據價值導致無法入表。

在數據資源入表工作中建立強大的數據質量標準至關重要。下面我們從識別數據質量挑戰、建立數據質量標準、明確數據質量目標、實施可衡量指標、實施數據清理、開展數據質量驗證、持續數據質量監測等七個方面闡述數據生命周期中數據質量管理和數據質量治理的定位。

(1)識別數據質量挑戰

企業遇到的一項常見挑戰是數據丟失或不準確。這種不準確可能會導致資源浪費和活動無效。組織必須實施確保數據可靠和最新的策略,從而最大限度地減少做出錯誤決策的風險。數據之間的不一致也是常見挑戰。通常,組織內的不同部門維護單獨的數據庫,而沒有用于集成或同步數據庫的標準化流程。因此,當嘗試從這些不同的來源分析或提取見解時,就會出現沖突。過時的信息是獲取高質量數據的另一個挑戰。在當今快節奏的世界中,趨勢瞬息萬變,客戶偏好不斷變化,過時的信息可能會阻礙準確的決策過程,從而阻礙業務增長。

缺乏標準化流程進一步加劇了組織內維護數據質量標準所面臨的挑戰。如果沒有明確的數據收集、存儲和管理實踐指南,隨著時間的推移,不一致會滲透到數據集中。這些不一致不僅影響日常運營,而且妨礙從數據中提取有意義的見解的能力。建立標準化流程對于確保整個組織內數據的收集、存儲和管理的一致性至關重要。通過識別維護數據質量方面的這些常見挑戰,組織可以制定適當的策略和解決方案來解決這些挑戰。

(2)建立數據質量標準

在數字經濟時代,高質量的數據已成為企業的命脈。它是明智決策、運營效率和可持續增長的基礎。然而,實現數據的高質量并非易事。下面我們探討在企業內建立穩健的數據質量標準的最佳實踐:通過定義明確的目標、實施可衡量的指標并培養持續改進的文化,企業可以更好地駕馭數據質量環境。

(3)制定明確的目標

要成功開啟卓越數據質量之旅,企業必須首先制定明確的目標。如果心中沒有目的地,就不可能有效地前進。這些目標應與業務的總體目標保持一致,并考慮與數據準確性、完整性、一致性、及時性和相關性相關的具體要求。

通過在數據質量計劃或項目開始時明確闡明這些目標,組織可以設定衡量進度的基準。例如,如果一家公司的目標是在六個月內通過提高數據準確性來減少10%的客戶流失,那么這個目標就會成為推動他們努力的指路明燈。

(4)實施可衡量指標

一旦在組織的數據質量框架內確立了目標,實施可衡量指標以準確跟蹤進度就至關重要。如果沒有這樣的指標,監控改進或識別需要進一步關注的領域就變得具有挑戰性。指標本質上可以是定量的和定性的。定量指標可能包括錯誤率或完整性百分比等指標,而定性指標可能涉及利益相關者對數據準確性或相關性的滿意度的反饋。

通過根據預定義的目標或行業基準定期衡量這些指標,企業可以深入了解實現既定目標的進度。這不僅可以幫助他們確定需要改進的領域,還可以提供有關現有流程是否有效或需要調整的反饋。建立數據質量標準不是一次性的工作。它需要持續監控和改進,以確保數據隨著時間的推移保持準確、可靠和相關。這就需要開發有效的流程,使組織能夠識別數據質量問題、采取糾正措施并不斷增強其數據資產。

(5)實施數據清理

數據清理過程從識別重復記錄開始。重復可能來自多種來源,例如手動輸入錯誤或合并多個數據集。這些重復數據不僅消耗了寶貴的存儲空間,而且阻礙了準確的分析和決策。為了應對這一挑戰,企業可以采用先進的算法,根據名稱、地址或唯一標識符等特定標準來比較記錄。通過匹配和合并技術,可以成功識別和消除重復項。一旦組織成功解決了這些挑戰并清理了數據集,他們就可以從高質量數據中獲益。準確可靠的信息是做出明智決策、制定有效戰略和推動企業高質量發展的堅實基礎。

(6)通過驗證方法確保數據質量

數據是決策的核心,企業對其數據集的可靠性和可信度充滿信心變得至關重要。為了實現這一目標,組織可以采用各種驗證方法,每種方法都具有獨特的優勢和考慮因素。一種驗證方法是手動驗證檢查。這種方法需要由擁有深厚領域知識的人類專家仔細檢查收集的數據。手動驗證檢查可能非常耗時且占用資源,特別是在涉及大量數據時。此外,人為錯誤或偏見可能會無意中影響評估過程。為了緩解這些挑戰并最大限度地提高效率,組織通常將手動驗證與使用人工智能算法的自動化流程結合起來。自動驗證方法提供了一種更方便的方法,同時保持高水平的準確性。通過利用機器學習算法和自然語言處理技術,企業可以自動化根據預定義規則或模式驗證數據的過程。這樣可以快速識別和標記數據集中潛在的不準確之處。

為了確保驗證方法的有效性,企業應根據其特定需求制定明確的驗證標準。定義這些標準有助于組織確定哪些內容構成其獨特環境的準確數據。它涉及了解潛在不準確的根源并開發與期望結果一致的規則或算法。此外,持續監控在保持數據準確性方面發揮著至關重要的作用。定期評估驗證流程的性能并根據需要進行調整可確保企業始終應對數據集中出現的挑戰和變化。通過反饋循環進行持續改進使企業能夠快速適應并隨著時間的推移保持高質量的數據。

(7)通過持續監控維護高質量數據

持續監控是維護高質量數據的基石,實施數據治理框架和建立定期審計以確保持續遵守定義的質量指標是非常重要的。

數據治理是指導企業維護高質量數據的指南針。它包含一組促進數據資產有效管理和利用的政策、流程和程序。通過建立明確的數據收集、存儲和使用指南,企業可以在其運營中強制實施一致性。數據治理充當了防范低質量信息帶來的潛在風險的守護者。

有效數據治理的核心是被稱為數據管理員的專門人員的角色。這些人充當組織內有價值的數據集的保管人。他們負責確保遵守既定標準,同時發現改進機會。數據管理員對組織的目標有深入的了解,并與各個利益相關者密切合作,以推動數據質量的持續提高。

3.數據質量管理在數據資源入表中的方法

數據質量管理在數據資源入表中的管理方法主要包括數據資源資產化前的事前管理、數據資源資產化前的事中監測、數據資產使用后的事后評價以及數據資源和資產質量的持續提升,其管理關鍵點如圖3所示。

圖3數據質量在數據資源入表中的管理階段

(1)事前管理

數據質量事前管理需要從數據的整個生命周期出發,對每個環節進行預防和監控。通過建立完善的數據質量事前管理體系,提高企業數據質量,降低數據風險,為企業的數據向數據資源轉化提供可靠支持。事前管理的主要管理內容包括:

建立數據質量標準:制定數據質量標準和指標,明確數據的精度、完整性、一致性和及時性等方面的要求。根據實際業務需求,對不同類型的數據制定相應的質量標準。

規范數據采集和處理過程:制定統一的數據采集和處理規范,確保數據采集和處理過程的標準化和規范化。采用合適的數據清洗和校驗方法,消除異常值和錯誤數據。

重視數據源管理:對數據源進行全面梳理和評估,確保數據源的可靠性和穩定性。建立數據源變更管理流程,確保數據源變更時及時通知相關人員,并進行必要的驗證和測試。

建立數據質量監控機制:通過定期檢查和監控數據質量,及時發現和解決潛在的數據質量問題。同時,建立數據質量評估機制,對數據質量進行持續評估和監測。

建立長效工作機制:根據組織特點,制定符合自身環境的工作制度,制定每個環節的工作流程,規定各個參與方的責任,確定各項數據的權威部門,制定數據質量指標,制定數據質量修復流程等等。

培訓和意識提升:提高員工的數據質量意識和技能水平,使其能夠按照規范和標準操作數據采集、處理、存儲和分析等過程。

通過數據質量事前管理,可以提前發現并解決潛在的數據質量問題,避免問題發生后才進行處理,從而降低了數據質量問題的風險。同時可以對數據進行全面檢查和評估,確保數據的準確性、完整性和一致性,提高數據的質量水平。因此,數據質量的事前管理是數據資源化的重要保障。

(2)事中監測

數據質量的事中監測是指對生成的數據資源的質量有目的性的監測。數據質量事中監測的意義在于,可以在數據操作或數據處理過程中及時發現并處理數據質量問題,避免問題擴大化,提高數據的準確性、完整性和可用性。對數據資源的事中監測是保障數據資產價值穩定性的基礎。事中監測的主要管理內容包括:

數據實時監測:在數據操作或數據處理過程中,對數據資源進行實時監測,及時發現并處理異常數據或錯誤數據,避免數據質量問題對業務和交易造成的影響。針對待管理的數據元素,配置數據相似性算法或數據關聯性算法,在數據新增、變更、處理、應用等環節調用預置的數據質量算法,進行相識度或關聯性分析,并給出數據分析的結果。通過建立數據質量預警機制,可以及時發現并解決潛在的數據質量問題。

數據質量評估:通過制定數據資源質量標準和指標,對數據資源進行質量評估,包括數據的準確性、完整性、一致性和及時性等方面。通過對數據資源的評估,可以及時發現并解決潛在的數據質量問題,從而保障數據資產的價值。

數據修復和糾正:一旦發現數據資源的質量問題,需要及時進行修復和糾正。數據修復和糾正包括查找錯誤原因、修正錯誤數據、重新驗證數據等步驟,以確保數據的準確性、完整性、唯一性等。

數據審計和監控:對數據資源進行定期的審計和監控,確保數據的準確性和完整性。同時,通過對數據的審計和監控,可以發現并解決潛在的數據質量問題,持續提高數據的質量水平。

通過對數據資源的事中監測,可以幫助企業識別數據資源潛在的質量問題,如數據質量低、數據不準確等,并及時采取措施進行修復和糾正。同時,數據資源的質量也決定了數據資產的質量和價值,因此數據資源的事中監測是確保數據資產價值的重要環節。

(3)事后評價

數據入表中數據質量的時候評價主要關注數據質量對數據資產價值的影響。數據質量對數據資產價值有著重要的影響。高質量的數據可以提供更準確、更可靠的信息,從而在決策、業務操作和創新等方面發揮更大的作用。相反,低質量的數據可能會導致決策失誤、業務風險和數據安全問題,從而對數據資產價值產生負面影響。事后評價的主要管理內容包括:

數據質量對數據資產價值的影響評估:評估數據質量對數據資產價值的影響程度,包括數據質量的高低如何影響數據資產的價值、數據質量問題對數據資產價值的影響等。

數據資產價值與數據質量的關系評估:評估數據資產價值與數據質量之間的關系,包括數據質量與數據資產價值之間的關聯性、數據質量對數據資產價值的影響程度等。

數據質量管理措施的評估:評估企業采取的數據質量管理措施的有效性,包括數據采集、處理、存儲和分析等環節的質量控制和管理措施是否得當、是否能夠提高數據質量等。

數據質量與業務應用的關系評估:評估數據質量與業務應用之間的關系,包括高質量的數據如何支持業務應用、低質量的數據如何影響業務應用等。

通過對這些方面的評估,可以更好地了解數據資產價值和數據質量之間的關系,為企業數據資產增值提供重要基礎,比如數據質量的優化改進策略與數據資產增值的路徑關系等。

(4)數據資產質量的PDCA

PDCA循環,即Plan(計劃)、Do(執行)、Check(檢查)和Act(行動)的循環,是質量管理的基本方法。在數據入表的數據資產質量管理中,PDCA同樣適用。

Plan(計劃):在數據入表的數據質量管理中,計劃階段主要是確定入表數據的數據質量的目標和策略。這包括確定需要關注的數據類型、設定數據質量標準,以及確定如何去實現這些標準。此外,還需要明確責任和任務分配,制定詳細的實施計劃。

Do(執行):在執行階段,根據計劃階段設定的目標和策略,開始進行實際的數據處理和分析工作。這包括數據的采集、清洗、存儲、處理和分析等環節。在執行過程中,需要確保按照既定的標準和流程進行操作,以保障數據的質量。

Check(檢查):檢查階段是對執行階段的結果進行評估和檢查。這包括對數據進行質量檢查,以確保數據符合既定的質量標準。此外,還需要對數據處理和分析過程進行審計,以識別可能存在的問題和風險。

Act(行動):在行動階段,根據檢查階段的結果,采取相應的措施來改進數據質量。這可能包括修復數據問題、調整數據處理和分析流程、培訓員工等。行動階段的目標是持續改進數據質量,確保數據始終符合企業的需求和標準。

數據資產管理中數據質量的PDCA新周期開始于:

①現有數據資產的數據質量測量值低于目標值。

②新數據集增加到數據資產中。

③對現有數據資產提出新的數據質量要求。

④業務規則、標準或期望發生了變更。

PDCA循環在數據入表數據質量管理中的應用可以幫助企業建立完善的數據質量管理體系,通過持續的質量改進活動,提高數據質量,從而提高數據資產的價值。同時,PDCA循環的循環不止的特性也使得企業可以持續優化和改進數據質量管理流程和方法,不斷提升數據質量管理的水平。

四、數據質量管理在數據入表中的實施路徑

數據質量管理在數據入表中的實施路徑包括制定數據資產標準、搭建數據資產質量平臺、實施數據資產質量監控、開展數據資產質量評價和強化數據資產質量運營五個階段,如圖4所示。

圖4 數據質量在數據入表中的實施路徑

1.制定數據資產標準

數據資產標準是數據資產質量得到保障的基礎,數據資產標準包括數據資產分類標準、數據資產編碼標準和數據資產描述標準。

(1)數據資產分類標準

對于企業而言,數據資產的分類目前看有業務視角、技術視角和場景視角等分類,現實情況看起來還比較初級,分類思路還是站在技術的層面看,未能按照數據作為產品的視角去分。未來,在企業內部數據資源入表實際上是參考了數據的產品、物資或設備屬性,也就是把數據作為了生產要素,那么數據資產的分類是否也可以按照產品的視角進行分類呢,也就是把數據資源作為物料分類的一部分。表1是數據資產在企業內部的分類示例:

表1數據資產分類示例

大類

中類

小類

01數據集

0101原始數據

010101內部數據

010102外部數據

0102加工數據

02算法集

03APP

(2)數據資產編碼標準

對于企業而言,通過該資產產生了多少收益,對該資產的維護費用是多少,該資產的所有者是誰,該資產的投資收益率是多少等等,就能夠形成企業內部數據資產的360度視圖。因此,對于數據資產來說,編號至關重要。

企業內部數據資產編號可以參考物料編碼規則,采用無意義的流水碼組成,一旦該類數據資產退役,編碼凍結永不使用。比如,以D開頭的8位流水碼——D0000001,也能涵蓋D99999999-D00000001千萬個數據資產。

(3)數據資產描述標準

數據資產描述標準就像產品包裝盒上的產品說明一樣,是說清產品由什么組成、哪里生產、營養成分、保質期等。數據資產也應該有類似的說明書,也就是描述數據資產的元數據。需要定義描述數據資產的元模型,描述數據資產的組成、數據權屬、應用場景等。

企業數據資產描述標準的目標是清晰定義數據資產,包括數據資產編號、數據資產類別、數據資產組成、數據資產用途、數據資產所有者等信息。表2為數據資產描述標準的示例。

表2數據資產描述示例

編碼

中文釋義

DA_CODE

數據資產編號

DA_NAME

數據資產名稱

DA_CATEG

數據資產類別

DA_CONT

數據資產內容【描述數據資產包括的成分】

DA_CASE

數據資產應用場景【描述數據資產的場景】

DA_SOURCE

數據資產來源【數據資產的源數據】

DA_UPFRE

數據資產更新頻率【數據資產更新的頻率分/小時/天】

DA_SECLEV

數據資產安全等級【數據資產分級屬性】

DA_SECLAW

數據資產安全及隱私法規條款【數據安全及隱私法條款】

DA_OWNER

數據資產所有者

DA_ISEFF

數據資產有效標識

數據資產標準是規范數據要素管理的必要措施,通過數據資產標準的建立,可以規范數據采集、處理、交易、分析等環節,確保數據的質量和合規,提高數據要素的價值和作用。數據資產管理及數據資產標準化也是數據治理的重要內容,通過數據治理規范數據資產管理行為和方式,在合規合法的前提下,最大化釋放數據要素的生產力價值。同時,數據資產標準化也是數據資產向數據資本轉化的重要前提條件。

2.搭建數據資產質量平臺

通過數據資產標準的建設,需要通過數據資產質量管理平臺保障數據資產的質量。數據資產質量管理平臺的功能主要包括以下幾個方面:

(1)數據資產標準管理:數據質量管理平臺的核心功能之一是數據標準管理。支持企業建立和維護數據資產質量標準,確保數據的規范化和標準化。通過數據標準管理,企業可以定義數據類型、格式、規則等,確保數據的一致性和準確性。

(2)數據資產質量評估:數據資產質量管理平臺可以對數據資產進行質量評估,包括數據的準確性、完整性、一致性、及時性等方面。通過設定數據資產質量標準和指標,系統可以對數據資產進行質量檢查,并提供相應的評估結果和報告,幫助企業了解數據資產的質量狀況。

(3)數據清洗和校驗:數據資產質量管理平臺可以自動識別和修復數據中的錯誤和不一致之處,包括重復、缺失、異常值等問題。通過數據清洗和校驗,系統可以確保數據的準確性和一致性,提高數據資產的質量水平。

(4)數據資產質量監控和預測:數據資產質量管理平臺可以實時監測數據資產質量指標,并生成相應的報告和警報。這樣可以幫助企業及時發現潛在的數據質量問題,并采取糾正措施。同時,通過預測分析,系統可以幫助企業預測數據資產質量問題的趨勢,提前做出相應的決策。

(5)數據集成和共享:數據資產質量管理平臺可以支持跨部門和團隊的數據集成和共享。通過統一的數據接口和標準,平臺可以確保不同系統和團隊之間的數據一致性和完整性,提高數據的可用性和協同效率。

數據資產質量管理平臺在提高數據資產質量、提高工作效率、降低風險和成本、提升決策效率以及促進團隊協作等方面發揮著重要作用。

3.實施數據資產質量監控

數據資產質量監控是跟蹤、測量和提高給定數據資產質量的過程。這涉及設置質量控制檢查和審計、建立數據資產質量基線以及跟蹤一段時間內的變化等事情。數據質量資產監控是一項關鍵功能,在數據入表中發揮著至關重要的作用。數據資產質量監控可幫助企業檢測數據錯誤并在它們對數據資產價值造成任何損害之前修復它們。數據資產質量監控包括數據資產質量監控的內容和實施方法。

(1)數據資產質量監控的內容

實現和維護數據資產質量標準需要采用包含各個組件的綜合框架。以下是數據資產質量監控的一些關鍵組成部分。

1)數據資產分析

數據資產分析使組織能夠更深入地了解其數據特征、模式和異常。

通過分析數據資產類型、分布和頻率,組織可以識別潛在的數據質量問題并采取糾正措施。

數據資產分析有助于識別缺失值、不一致和意外的數據分布,為數據質量改進奠定基礎。

2)數據資產驗證

數據資產驗證涉及應用預定義的規則、算法或統計方法來驗證數據的準確性、完整性和一致性。

驗證檢查可確保數據資產符合預定義的標準和業務規則,從而為其可靠性提供保障。

通過根據預定義的范圍、格式或依賴性驗證數據,組織可以及早檢測并解決數據質量問題。

3)數據資產清理

數據資產清理涉及識別和刪除數據中的錯誤、重復、不一致和不準確的內容。

通過自動化流程,組織可以消除重復數據、標準化格式并糾正不一致之處,從而提高數據質量。

對于需要人判斷或領域專業知識的復雜數據問題,可能需要手動干預。

4)持續數據資產監控

持續數據資產監控對于實時識別和解決數據質量問題至關重要。

它涉及使用自動化工具和流程定期評估數據資產質量指標并觸發異常警報。

通過主動監控數據源、轉換和存儲,組織可以及時檢測與預定義數據資產質量標準的偏差。

5)數據資產治理

數據資產治理通過定義管理數據資產的政策、標準和程序來設置數據資產質量監控框架。

它確保明確定義數據資產質量責任,建立角色和職責,并滿足合規性要求。

數據資產治理促進問責制,確保持續監控和改進數據資產質量。

(2)實施數據資產質量監控

通過采用系統方法,企業可以為穩健的數據資產質量監控實踐奠定基礎,從而始終保持寶貴數據資產的準確性、可靠性和可用性。以下是實施數據資產質量監控的重要步驟。

1)定義明確的數據資產質量目標

根據組織要求和行業標準明確定義具體的數據資產質量目標。

確定需要監控以滿足既定目標的關鍵數據資產元素和屬性。

為每個數據資產質量目標建立可衡量的指標和目標。

2)建立數據資產質量基線

對數據資產質量現狀進行全面評估,建立基線。

識別影響數據資產質量的數據源、數據集成點和數據轉換過程。

執行數據資產剖析和分析,以了解現有的數據資產質量問題及其潛在影響。

3)開發數據資產質量監控框架

開發數據資產質量監控框架,概述關鍵組件、流程和職責。

根據數據元素的重要性調整數據資產質量監控活動的頻率和范圍。

定義將在監控過程中應用的數據資產質量規則、驗證和檢查。

4)實施數據資產質量工具和技術

評估并選擇符合企業要求的適當數據資產質量工具和技術。

實施數據資產質量管理軟件、自動化數據分析工具和數據資產驗證框架。

將數據資產質量工具與現有數據系統和工作流程集成,以實現無縫監控。

5)建立數據資產治理

建立數據資產治理框架,概述數據資產質量監控的政策、角色和職責。

任命專門團隊負責監督和提高數據資產質量。

定義數據資產質量升級和問題解決流程,以確保及時采取行動。

6)持續監控數據資產質量

實施定期且持續的數據資產質量監控流程,以跟蹤和評估數據資產質量指標。

監視數據源、數據轉換和數據存儲系統是否存在可能影響數據資產質量的更改。

持續評估數據資產質量指標,識別新出現的問題,并采取積極的改進措施。

監控入表的數據資產質量對于確保數據可靠性和可信度的企業至關重要。通過數據資產質量監控,可以使業務運營更順暢、錯誤更少、決策更好并遵守重要法規。建立數據資產質量監控使企業能夠充分釋放數據資產的潛力,推動創新,獲得競爭優勢,從而保障數據資產價值的可獲得性。

4.開展數據資產質量評估

數據資產質量評估是一系列科學和統計評估,用于確定數據資產是否符合公司的數據資產質量標準。數據資產質量評估的步驟如下:

(1)界定數據資產評估范圍

數據資產質量評估的范圍可以從數據資產質量的維度、評估的具體數據元素、使用的方法和工具以及評估的時間范圍來界定。

(2)確定評估中包含的數據源

可以通過查看回答研究問題所需的數據資產類型來確定評估中包含的數據源。例如,如果研究問題是關于新產品對銷售的影響,則數據源可能包括公司財務記錄中的銷售數據、客戶調查中的數據以及市場研究報告中的數據。

(3)制定數據資產質量評估清單

數據資產質量評估清單是可用于評估不同業務功能和流程的數據質量的問題列表。該清單應在流程的不同階段以及工作流程或技術發生變化時完成。該清單還應根據技術、業務實踐等的變化定期更新。

此類清單中可包含的一些常見要素包括:

數據是否完整、準確、最新

數據的格式和結構是否正確

數據是否沒有錯誤、重復和其他異常情況

授權人員是否可以訪問和使用數據

數據是否得到充分保護,免遭未經授權的訪問和修改

(4)與主要利益相關者進行訪談

與主要利益相關者進行訪談以進行數據資產質量評估有幾個關鍵步驟。首先,需要確定誰是主要利益相關者。其次,需要提出一系列問題來詢問利益相關者。最后,需要分析對問題的回答,以確定任何值得關注的數據資產質量領域。

(5)審查數據資產質量指標

數據資產質量指標根據組織及其使用的數據質量指標而有所不同。然而,審查數據資產質量指標的一些技巧包括查看一段時間內的總體趨勢、比較不同的數據源以及確定需要改進的領域。

(6)進行數據資產質量分析

數據資產質量分析的方法有很多種,常見的方法包括使用統計方法、數據挖掘和機器學習。

數據資產質量評估的目的是識別數據資產的有效性,估計對數據入表的影響,并實施糾正措施。

5.強化數據資產質量運營

數據資產質量運營是指通過建立數據資產質量基礎、制定數據資產質量計劃、分配數據資產質量責任和將數據資產質量融入企業文化的一系列數據資產質量保證的體系機制。組織必須強化數據資產質量運營以確保擁有最新且干凈的數據資產。企業必須執行這樣的程序才能獲得并維持高質量的數據資產。建立數據資產質量運營體系包括4個關鍵步驟:

(1)建立數據資產質量基礎

數據質量是許多企業關注的問題。這不僅僅關乎準確性和完整性,它還涉及及時性、一致性和有效性。數據資產質量是公司數據質量工作的基礎。數據資產質量必須與業務流程相關,以將一個業務領域的改進復合到另一個業務領域。一旦建立了這些聯系,就應該根據它們映射KPI,以確定哪些流程需要改進,以及哪些流程運行良好。列出企業面臨的所有數據資產質量問題以及它們如何影響收入和業務KPI。

(2)制定適合目標的行動計劃

每個企業都是不同的,從一開始就定義什么是“最適合”企業的數據資產質量目標非常重要。有必要與相關利益相關者一起制定行動計劃,說明他們將如何使用數據資產并識別其中的任何問題。同樣重要的是提醒項目團隊已制定的KPI,以證明數據資產質量運營的有效性。

(3)分配治理一致的質量責任

數據質量的重要性長期以來一直被忽視。必須改變這種狀況并分配責任和問責制,以確保整個企業的合規性和成功。在每次董事會或高管和高級管理團隊會議上,數據資產質量都應成為議程項目。需要數據治理和合規性,以確保符合當地和行業法規。董事會可以將這些職責分配給首席數據官,首席數據官將確保制定強有力的政策來維護數據資產質量。

(4)將數據質量融入組織文化

數據資產質量成熟之路的最后階段是數據資產質量必須在文化層面嵌入到組織中。數據資產質量不是一次性事件,而是一個持續的過程。為了推動數據資產入表的成功,數據資產質量保障必須嵌入到組織文化中。

當前,企業面臨的挑戰是在開始數據入表之前不知道數據的確切質量。使用重復、不完整和不準確的數據是一個致命的風險。企業必須積極主動地制定數據資產質量運營策略,以避免在數據入表過程中出現潛在問題。

五、數據質量管理在數據資源入表中的建議

數據質量管理是數據資源入表中的核心管理內容,為了保障數據資源能夠有效轉化為數據資產并計入資產負債表,本文給出了在數據資源入表中針對數據質量管理的十個建議。

1.明確設置和定義數據資產質量要求:首先定義與數據資源入表目標相符的特定數據質量要求。明確定義什么代表數據資產相關的高質量數據,包括準確性、完整性、一致性、及時性和相關性。

2.數據分析和評估:執行數據分析以了解數據結構、內容和質量。通過檢查數據模式、識別異常和測量數據完整性來評估數據質量。此步驟有助于發現數據問題,并為后續數據質量改進和數據資產化奠定基礎。

3.數據清理和標準化:實施數據清理技術來解決數據質量問題。包括刪除重復記錄、更正錯誤以及標準化數據格式、值和表示。自動化的工具和流程可以幫助有效地清理和標準化數據。

4.制定數據治理框架:制定數據治理框架以確保數據質量的問責制和責任。定義數據質量管理的角色、職責和流程,包括數據管理、數據所有權和數據質量監控。

5.數據質量指標和監控:定義符合入表的數據資源質量要求的關鍵數據質量指標。持續監控這些指標以評估數據質量并識別潛在問題或趨勢。定期數據質量審核可以幫助跟蹤改進并確定需要進一步改進的領域。

6.數據檢驗和驗證:實施數據檢驗和驗證流程,確保數據的準確性和一致性。這包括根據預定義的業務規則驗證數據、執行引用完整性檢查以及在ETL(提取、轉換、加載)過程中驗證數據轉換。

7.數據質量培訓和意識:提供數據質量培訓和意識計劃,教育員工了解數據質量的重要性以及他們在維護數據質量方面的作用。促進數據驅動的文化并強調整個組織中高質量數據的價值。

8.與數據提供商協作:如果企業從外部來源或合作伙伴接收數據,需要建立數據質量協議并與數據提供商協作,以確保滿足數據質量標準。定義傳入數據的數據驗證流程,并建立有關數據質量問題的反饋和溝通機制。

9.實施數據質量工具:利用數據質量工具和技術來自動化數據分析、清理和監控流程。這些工具可以提供數據分析、異常檢測和數據質量報告的高級功能,從而節省管理數據質量的時間和精力。

10.持續改進和迭代方法:數據質量是一個持續的過程。根據反饋、分析見解和不斷變化的業務需求持續監控和提高數據質量。采用迭代方法,從數據質量問題中學習并隨著時間的推移改進流程。

(部分內容來源網絡,如有侵權請聯系刪除)
立即申請數據分析/數據治理產品免費試用 我要試用
產品功能
豐富的數據資產類型

該平臺支持多種資源的定義和規劃,包括數據庫和文件等結構化和非結構化資源,并封裝邏輯資源為數據產品,以全面盤點企業數據生產要素。

智能的目錄活化管理

可配置的資產目錄詳細描述數據資源的各類信息,與元數據集成,實現批量盤點和自動更新,以應對資源變更。

多樣的數據服務方式

平臺管理的數據資源可快速開發多種服務,包括數據查詢、下載、API、分析產品授權等高附加值服務。

全流程數據安全管控

平臺內置自定義數據資產服務工作流,可根據權責劃定服務審批對象,同時支持數據權限控制。數據消費者獲取的數據會按照分級分類要求進行脫敏和加密處理。

可視化數據資產服務門戶

平臺盤點的數據資產以數據商品形式在門戶中對用戶開放,用戶可通過分類、標簽、評級和關鍵字檢索查找資產并發起服務申請。

customer

在線咨詢

在線咨詢

點擊進入在線咨詢