- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-06-22來源:我幻化成雨瀏覽數:658次
數據標準,是企業數據治理理論和方法與實際信息系統和數據的橋梁,是數據質量管理、數據安全管理等重要管理措施的關鍵錨點。然而,數據標準體系在企業具體如何落地,以什么方式和順序推進,是實際工作中非常重要的問題,良好的數據標準體系也需要在具體環境和組織中找到合適的方法來推進。
基礎數據在業務層面一致
指標數據在分析層面一致
字典規范在系統層面一致
01 企業通用的數據分類框架 業務數字化的過程,就是將企業業務活動過程進行數字化采集的過程。企業的業務活動所產生的數據不是扁平化的,是有著豐富層次的,也是有不同特征和類型的。因此,要進行企業數據標準化,首先就要對企業的數據進行分類研究。在企業數據分類方面,業界有一個相對完整的通用框架,根據數據特性及治理方法的不同對數據進行了分類定義:內部數據和外部數據;
結構化數據和非結構化數據;
上述數據的元數據。 對于結構化數據,可以進一步劃分為基礎數據、主數據、事務數據、報告數據、觀測數據和規則數據。
1)?基礎數據:是用于對其他數據進行分類,在業界也稱作參考數據。
2)?主數據:是參與業務事件的主體或資源,是具有高業務價值的、跨流程和跨系統重復使用的數據。
3)?事務數據:是在業務和流程中產生,是業務事件的記錄,其本身就是業務運作的一部分。事務數據是具有較強時效性的一次性業務事件,通常在事件結束后不再更新。
4)?報告數據:是指對數據進行處理加工后,用作業務決策依據的數據。它用于支持報告和報表的生成。
5)?觀測數據:是通過觀測工具獲取的數據,觀測對象一般為人、事、物、環境。相比傳統數據,觀測數據通常數據量較大且是過程性的,由機器自動采集生成。
6)?規則數據:是結構化描述業務規則變量(一般為決策表、關聯關系表、評分卡等形式)的數據,是實現業務規則的核心數據,?如業務中普遍存在的基線數據。數據分類管理框架如下圖所示:

數據分類管理框架圖不同分類的數據,其治理方法有所不同,例如:基礎數據內容的變更通常會對現有流程、IT 系統產生影響,因此基礎數據的管理重點在于變更管理和統一標準管控。主數據的錯誤可能會導致成百上千的事務數據錯誤,因此主數據的管理重點是確保同源多用、重點進行數據內容的校驗等。?
02 適用于商業銀行的結構化數據標準體系?
1.通用數據分類到商業銀行數據分類的映射 上文的數據分類為標準化提供了思路,但是就商業銀行具體工作而言,還需要進行適度的調整。在商業銀行的工作中,為了更多的達成共識,為業務人員和技術開發人員更好的理解,相關的數據分類需要進行一定的本地化。在基礎數據方面,尤其是在主數據方面,商業銀行更多的是從客戶、機構、員工、產品、協議、渠道、資產等主題進行關鍵數據的管理。一方面是商業銀行經歷過傳統數據倉庫建設過程,對類似FS-LDM等概念相對熟悉,另一方面是一些咨詢公司也引入過IFW等邏輯模型,相關概念容易理解。同時,人民銀行在數據安全分級分類指引中也按照數據主題進行分類。因此,主數據治理是數據標準體系的重要內容,甚至是不可或缺的內容,主數據治理也通常被作為商業銀行基礎數據管理的基本內容。這其中,同時也覆蓋了相應的關鍵性枚舉值代碼。不過,枚舉值這一重要數據內容,在很多標準理論中,往往被冠以“參考數據”名詞,實際上在具體工作中反而不夠接地氣。重要的枚舉值代碼,其一部分本身就是商業銀行主數據的一部分,因此,這一塊也通常被納入基礎數據分類。值得重視的是,業內曾提出了“主數據在交易層面打通”的治理要求,這個和主數據實現跨系統跨業務領域一致的要求是非常契合的。?在指標數據方面,業內通常使用報告數據,而商業銀行會使用指標數據這種術語,通過數據加工和維度處理,指標數據貫穿于報表、報告、管理駕駛艙、業務儀表盤已經各種數據應用中,所以,相較于報告數據,指標數據更具共識。在明細數據方面,一方面其具有數據量龐大的特點,另一方面往往和企業的業務術語相結合,也和企業的具體業務流程、產品設計、管理活動相關。具體而言,既可以是業務系統主檔數據明細,也可以是具體的交易和流水日志,或是各種業務過程的明細記錄,這些數據往往在一個業務領域中出現。因此,企業數據分類需要通過一個構成,映射為商業銀行的數據分類,然后進行標準化體系的構建。
2.商業銀行結構化數據分類和標準體系 參考關于商業銀行數據分類的分析,我們從實踐出發制定適用于自身的結構化數據標準體系,具體而言就是包括“兩套標準,一套規范”:兩套標準指基礎數據標準和指標數據標準,一套規范指數據規范(數據字典)。基礎數據標準包括主數據和關鍵代碼,這里的主數據指跨系統、跨部門進行共享的核心業務實體數據;關鍵代碼指枚舉值數據,包括國標和企業實踐。指標數據標準源自各業務部門,在共性的需求上進行提煉,形成公共指標庫。指標數據可以分為原子指標、派生指標和組合指標。字典規范是標準的落地實現,要覆蓋行內各系統的業務元數據、技術元數據和管理元數據。由基礎標準+業務詞根+結尾詞根拼接而成。“兩套數據標準和一套字典規范”的數據分類架構見下圖:


商業銀行典型數據標準目標體系
3.商業銀行非結構化數據分類 就商業銀行的非結構化數據而言,一方面不能簡單套用結構化數據的分類和標準,一方面還要結合企業級內容管理的具體情況。通常而言,非結構化數據按照分類包括客戶服務過程的音頻、視頻、文本、影像文件,內部管理過程的文本和文檔信息等諸多內容,這一部分數據的管理,更多從個性化、特征值的方面去進行管理。
那么,究竟該如何實施數據標準管理,商業銀行在進行基礎數據標準、指標數據標準、數據字典規范的管控時,應分別遵循哪些原則,采取什么措施呢,我們下周揭曉,敬請期待。