標準對我們的生活有很大的影響,如度量的標準、安全的標準等。如果標準不對或沒有遵循標準,則容易引起混亂。同樣對于企業(yè)來說,數(shù)據(jù)的標準化以及標準化過程中的治理也尤為重要。
本文將從數(shù)據(jù)標準基礎(chǔ)概念出發(fā),結(jié)合企業(yè)數(shù)據(jù)建設(shè)現(xiàn)狀,跟大家分享一下數(shù)據(jù)標準所帶來的價值,以及如何去完成企業(yè)數(shù)據(jù)標準建設(shè)。具體包括以下幾部分內(nèi)容:
第一部分:數(shù)據(jù)標準相關(guān)概念,包括數(shù)據(jù)標準定義、分類。
第二部分:國內(nèi)企業(yè)數(shù)據(jù)建設(shè)的現(xiàn)狀是怎樣的,數(shù)據(jù)使用過程中一般會碰到哪些由于缺乏數(shù)據(jù)標準所造成的問題,數(shù)據(jù)標準建設(shè)能夠為企業(yè)帶來哪些價值。
第三部分:如何建設(shè)數(shù)據(jù)標準,包括數(shù)據(jù)標準的建設(shè)流程以及范圍圈定、落標策略、工具選型等幾個關(guān)鍵點。
第四部分:實際案例,結(jié)合我方做過的某個銀行的數(shù)據(jù)標準案例,從實際出發(fā)闡述數(shù)據(jù)標準建設(shè)的內(nèi)容和效果。
數(shù)據(jù)標準概念數(shù)據(jù)標準定義
數(shù)據(jù)標準(Data Standard)是指保障數(shù)據(jù)定義和使用的一致性、準確性和完整性的規(guī)范性約束。
對于企業(yè)而言,通俗來講,數(shù)據(jù)標準就是對數(shù)據(jù)的命名、數(shù)據(jù)類型、長度、業(yè)務(wù)含義、計算口徑、歸屬部門等,定義一套統(tǒng)一的規(guī)范,保證各業(yè)務(wù)系統(tǒng)對數(shù)據(jù)的統(tǒng)一理解、對數(shù)據(jù)定義和使用的一致性。
數(shù)據(jù)標準管理目標
數(shù)據(jù)標準管理的目標是通過統(tǒng)一的數(shù)據(jù)標準制定和發(fā)布,結(jié)合完善的數(shù)據(jù)標準管理體系,實現(xiàn)數(shù)據(jù)的標準化管理,保障數(shù)據(jù)的完整性、一致性、規(guī)范性,為后續(xù)的數(shù)據(jù)管理提供標準依據(jù)。
數(shù)據(jù)標準分類
一般可從三個維度去進行數(shù)據(jù)標準分類:數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)內(nèi)容來源、技術(shù)業(yè)務(wù)。

1)從數(shù)據(jù)結(jié)構(gòu)角度的標準分類:
? 結(jié)構(gòu)化數(shù)據(jù)標準是針對結(jié)構(gòu)化數(shù)據(jù)制定的標準,通常包括:信息項分類、類型、長度、定義、值域等。
? 非結(jié)構(gòu)化數(shù)據(jù)標準是針對針對非結(jié)構(gòu)化數(shù)據(jù)制定的標準通常有:文件名稱、格式、分辨率等。
2)從數(shù)據(jù)內(nèi)容來源角度的標準分類:
? 基礎(chǔ)類數(shù)據(jù)標準是指業(yè)務(wù)系統(tǒng)直接產(chǎn)生的明細數(shù)據(jù)和相關(guān)代碼數(shù)據(jù),保障業(yè)務(wù)活動相關(guān)數(shù)據(jù)的一致性和準確性。
? 派生類數(shù)據(jù)標準是指基礎(chǔ)類數(shù)據(jù)根據(jù)管理運營的需求加工計算而派生出來的數(shù)據(jù),例如:統(tǒng)計指標、實體標簽等。
3)從技術(shù)業(yè)務(wù)角度的標準分類:
? 業(yè)務(wù)數(shù)據(jù)標準是指為實現(xiàn)業(yè)務(wù)溝通而制定的標準,通常包括:業(yè)務(wù)定義和管理部門,業(yè)務(wù)主題等。
? 技術(shù)數(shù)據(jù)標準是指從信息技術(shù)的角度對數(shù)據(jù)標準的統(tǒng)一規(guī)范和定義,通常包括:數(shù)據(jù)類型、字段長度、精度、數(shù)據(jù)格式等。
企業(yè)數(shù)據(jù)建設(shè)現(xiàn)狀
國外數(shù)據(jù)標準化工作起步較早,不少國際大型企業(yè)已將數(shù)據(jù)當作企業(yè)的重要資產(chǎn)來對待,其中大部分企業(yè)均以數(shù)據(jù)標準為核心,確保數(shù)據(jù)標準能夠融入企業(yè)的每個業(yè)務(wù)環(huán)節(jié)中。
但國內(nèi)企業(yè)大多數(shù)系統(tǒng)的建設(shè)都是直接依據(jù)業(yè)務(wù)需求建立,并沒有一個整體的規(guī)劃,另外不同系統(tǒng)的建設(shè)廠商可能也不一樣,所以不同系統(tǒng)之間數(shù)據(jù)的不一致性難以避免,究其根源,還是沒有一套統(tǒng)一的數(shù)據(jù)標準來進行約束。
企業(yè)在對數(shù)據(jù)的使用過程中,出現(xiàn)的很多數(shù)據(jù)問題,都是由于缺乏標準約束和整體規(guī)劃設(shè)計造成的,如下:
數(shù)據(jù)存儲結(jié)構(gòu)不一致,調(diào)用多系統(tǒng)的數(shù)據(jù)時,由于某些數(shù)據(jù)在不同系統(tǒng)中數(shù)據(jù)存儲結(jié)構(gòu)不同,導致數(shù)據(jù)無法直接關(guān)聯(lián),影響不同系統(tǒng)之間的數(shù)據(jù)共享。
數(shù)據(jù)定義不一致,不同系統(tǒng)對數(shù)據(jù)的命名、業(yè)務(wù)含義、取值范圍等定義不同,比如同名不同義、同義不同名等
數(shù)據(jù)理解不一致,不同人員對數(shù)據(jù)的理解不一致,導致在數(shù)據(jù)使用時浪費很多溝通時間。
數(shù)據(jù)來源不一致,數(shù)據(jù)存在多個來源,在數(shù)據(jù)使用時,不清楚應(yīng)該取哪個系統(tǒng)的數(shù)據(jù)。
通過數(shù)據(jù)標準的建設(shè),可消除數(shù)據(jù)跨系統(tǒng)的非一致性,從根源上解決數(shù)據(jù)定義和使用的不一致問題,為企業(yè)數(shù)據(jù)建設(shè)帶來諸多好處:
數(shù)據(jù)標準的統(tǒng)一制定與管理,可保證數(shù)據(jù)定義和使用的一致性,促進企業(yè)級單一數(shù)據(jù)視圖的形成,促進信息資源共享。
通過評估已有系統(tǒng)標準建設(shè)情況,可及時發(fā)現(xiàn)現(xiàn)有系統(tǒng)標準問題,支撐系統(tǒng)改造,減少數(shù)據(jù)轉(zhuǎn)換,促進系統(tǒng)集成,提高數(shù)據(jù)質(zhì)量。
數(shù)據(jù)標準可作為新建系統(tǒng)參考依據(jù),為企業(yè)系統(tǒng)建設(shè)整體規(guī)劃設(shè)計打好基礎(chǔ),減少系統(tǒng)建設(shè)工作量,保障新建系統(tǒng)完全符合標準。
同時,數(shù)據(jù)標準建設(shè)也為企業(yè)各類人員提供相應(yīng)的支撐:
對業(yè)務(wù)人員而言,數(shù)據(jù)標準建設(shè)可提升業(yè)務(wù)規(guī)范性,保障人員對數(shù)據(jù)業(yè)務(wù)含義理解一致,支撐業(yè)務(wù)數(shù)據(jù)分析挖掘以及信息共享;
對技術(shù)人員而言,有數(shù)據(jù)標準作為支撐,可提升系統(tǒng)實施工作效率,保障系統(tǒng)建設(shè)符合規(guī)范,同時降低出錯幾率,提升數(shù)據(jù)質(zhì)量;
對管理人員而言,數(shù)據(jù)標準建設(shè)可提供更加完整、準確的數(shù)據(jù),更好的支撐經(jīng)營決策、精細化管理。
如何建設(shè)數(shù)據(jù)標準
隨著市場競爭的日益激烈及政府規(guī)范要求的日趨嚴格,越來越多企業(yè)已經(jīng)逐漸意識到數(shù)據(jù)標準的重要性,但是苦于沒有成熟解決方案、完善的標準體系制度以及相關(guān)經(jīng)驗,不知數(shù)據(jù)標準的建設(shè)該從何下手。根據(jù)以往的數(shù)據(jù)標準項目經(jīng)驗,小億總結(jié)了一些數(shù)據(jù)標準建設(shè)流程和關(guān)鍵點,供大家參考。
首先數(shù)據(jù)標準建設(shè)需要有相應(yīng)的數(shù)據(jù)標準管理組織,負責數(shù)據(jù)標準的統(tǒng)一管理,承擔數(shù)據(jù)數(shù)據(jù)的制定、維護、應(yīng)用和監(jiān)督等工作。一般數(shù)據(jù)標準管理組織包括:數(shù)據(jù)標準決策層、數(shù)據(jù)標準管理部門和數(shù)據(jù)標準工作組。
另外數(shù)據(jù)標準管理工作的展開還需要一系列的數(shù)據(jù)標準管理制度,包括:數(shù)據(jù)標準管理辦法文件、數(shù)據(jù)標準規(guī)范文件、數(shù)據(jù)標準管理操作文件等等。
有了相應(yīng)的數(shù)據(jù)標準管理組織和制度作為保障,即可推動數(shù)據(jù)管理的實施。數(shù)據(jù)標準建設(shè)的實施流程如下:
第一階段:標準規(guī)劃
從實際情況出發(fā),結(jié)合業(yè)界經(jīng)驗,收集國家標準、現(xiàn)行標準、新系統(tǒng)需求標準以及行業(yè)通行標準等,梳理出數(shù)據(jù)標準建設(shè)的整體范圍,定義數(shù)據(jù)標準體系框架和分類,并制定數(shù)據(jù)標準的實施計劃。
第二階段:標準編制
根據(jù)數(shù)據(jù)標準體系框架和分類,先確定各分類數(shù)據(jù)標準模板,然后由相關(guān)人員依據(jù)相關(guān)國標、行標、技術(shù)業(yè)務(wù)需求等調(diào)研結(jié)果,進行數(shù)據(jù)標準的編制,形成數(shù)據(jù)標準初稿。
第三階段:標準評審發(fā)布
標準編制完成后,為保證數(shù)據(jù)標準的完整、規(guī)范,還需要對數(shù)據(jù)標準進行評審,在充分征求專家意見以及各相關(guān)部門人員意見后,對數(shù)據(jù)標準進行修訂和完善。完善后的數(shù)據(jù)標準經(jīng)過領(lǐng)導審批通過后,即可發(fā)布到全企業(yè),形成正式的數(shù)據(jù)標準。
第四階段:標準落地執(zhí)行
不是所有的數(shù)據(jù)標準都能夠完全落地,實際工作中可能會存在歷史系統(tǒng)無法改造的情況,所以首先確定數(shù)據(jù)標準落地策略和落地范圍,并制定相應(yīng)的落地方案,然后推動數(shù)據(jù)標準落地方案的執(zhí)行,對標準落地情況進行跟蹤并評估成效。
第五階段:標準維護增強
數(shù)據(jù)標準后續(xù)可能會隨著業(yè)務(wù)的發(fā)展變化、國標行標的變化、以及監(jiān)管要求的變化需要不斷更新和完善。在數(shù)據(jù)標準維護階段,需要對標準變更建立相應(yīng)的管理流程,并做好標準版本管理。
另外數(shù)據(jù)標準建設(shè)過程中,還有幾個關(guān)鍵點,需要大家注意:
1、標準范圍圈定
不是所有的數(shù)據(jù)都需要建立數(shù)據(jù)標準,企業(yè)實際數(shù)據(jù)模型中有上萬個字段,有些模型還會經(jīng)常變換更新,如果把這些信息全部納入到標準體系中耗費工作量巨大,很難真正實現(xiàn)落地。因此僅需要對核心數(shù)據(jù)建立標準并落地,既可達到預期效果,同時也提升了工作效率。
數(shù)據(jù)標準范圍圈定建議如下:
共享性高、使用頻率高的字段需入標;
監(jiān)管報送或發(fā)文涉及到的業(yè)務(wù)信息需入標;
結(jié)合數(shù)據(jù)使用情況,對于關(guān)鍵數(shù)據(jù)的字段盡量入標;
數(shù)據(jù)應(yīng)用有使用需求的字段需入標;
與系統(tǒng)人員溝通其系統(tǒng)內(nèi)重要信息來輔助入標判斷。
2、落標策略
數(shù)據(jù)標準落地的工作中,肯定會遇到很多困難,比如某些歷史系統(tǒng)無法改造或者改造成本過大,導致無法落標。這就需要我們針對不同的系統(tǒng),建立不同的落標策略。
對于新建系統(tǒng),一般采用強制落標的策略,即新建系統(tǒng)必須符合數(shù)據(jù)標準,在新系統(tǒng)上線前對其進行數(shù)據(jù)標準落地評估,如評估結(jié)果不合格,則令其整改。
對于已有的歷史系統(tǒng),采用建議落標的策略,首先將已有系統(tǒng)的標準問題找出來,并進行分析和整理,綜合多方面考慮,包括工作量、整改風險、周期、成本等等,制定最有效的落標策略,比如等到以后系統(tǒng)升級改造時再落標,通過邏輯轉(zhuǎn)換方式落標,通過數(shù)據(jù)倉庫落標等等。
3、工具選型
數(shù)據(jù)標準建設(shè)工作量還是比較大的,完全依靠人工不太現(xiàn)實,所以需要一套完善、易用的數(shù)據(jù)標準管理工具幫助我們將數(shù)據(jù)標準建設(shè)工作落地。
數(shù)據(jù)標準管理工具應(yīng)包括:標準分類管理、標準增刪改查、標準導入導出、標準評審、標準發(fā)布、標準版本管理、標準落地映射、標準落地評估、標準監(jiān)控等功能。同時為更好的保障數(shù)據(jù)標準的落地,最好結(jié)合元數(shù)據(jù)管理工具一起使用。
而億信華辰數(shù)據(jù)標準管理平臺ESDataStandard提供了一套完整的數(shù)據(jù)標準管理流程及辦法,通過統(tǒng)一的數(shù)據(jù)標準制定和發(fā)布等一系列的活動,結(jié)合制度約束、系統(tǒng)控制等手段,實現(xiàn)企業(yè)大數(shù)據(jù)平臺數(shù)據(jù)的完整性、有效性、一致性、規(guī)范性、開放性和共享性管理。
實際應(yīng)用案例
最后跟大家分享一個基于億信華辰數(shù)據(jù)標準管理平臺實際落地的一個數(shù)據(jù)標準建設(shè)案例,這個是在國內(nèi)某銀行做的數(shù)據(jù)標準項目,建立了數(shù)據(jù)標準管理系統(tǒng)和全流程數(shù)據(jù)標準管理機制,將其在經(jīng)營管理中產(chǎn)生的數(shù)據(jù)、依賴的數(shù)據(jù)以統(tǒng)一的口徑展現(xiàn),促進了數(shù)據(jù)分析在客戶經(jīng)營、績效管理、資源配置、定價管理、風險管理等諸多方面應(yīng)用與管理水平的提升。
國內(nèi)某銀行建立了一套數(shù)據(jù)標準體系框架,管理全行數(shù)據(jù)標準,形成了以科技戰(zhàn)略委會員領(lǐng)導下的數(shù)據(jù)標準化小組為管理組織,涵蓋標準定義、執(zhí)行、監(jiān)督評審等各個環(huán)節(jié)的良性數(shù)據(jù)標準閉環(huán)工作機制與流程,并配套管理制定和工具的建設(shè)。

其中包括建立基礎(chǔ)數(shù)據(jù)標準600余條,覆蓋了公用信息、產(chǎn)品、協(xié)議、資產(chǎn)、事件、渠道、參與人、財務(wù)8個主題的核心數(shù)據(jù),建立代碼數(shù)據(jù)標準200余條,將數(shù)據(jù)標準實施落地,保障核心數(shù)據(jù)的規(guī)范性和一致性。該系統(tǒng)的建設(shè)顯著提升了向監(jiān)管報送的數(shù)據(jù)質(zhì)量,大大減少了IT部門數(shù)據(jù)質(zhì)量處理任務(wù)工單,提升了取數(shù)效率。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)