一、數(shù)據(jù)治理愿景和目標(biāo)

每家企業(yè)開(kāi)展數(shù)據(jù)治理的愿景基本都是為了通過(guò)持續(xù)的數(shù)據(jù)治理，來(lái)保障整個(gè)企業(yè)數(shù)據(jù)資產(chǎn)的價(jià)值創(chuàng)造。證券行業(yè)作為一個(gè)強(qiáng)監(jiān)管行業(yè)，開(kāi)展數(shù)據(jù)治理的首要目標(biāo)是監(jiān)管合規(guī)，確保符合國(guó)際、國(guó)家、行業(yè)的法律法規(guī)或監(jiān)管要求；第二個(gè)目標(biāo)是數(shù)據(jù)安全，保護(hù)信息主體的隱私安全；第三個(gè)目標(biāo)是保障數(shù)據(jù)的可信可用，即通過(guò)持續(xù)改進(jìn)數(shù)據(jù)質(zhì)量來(lái)提供準(zhǔn)確、及時(shí)、完整、一致的數(shù)據(jù)。

二、數(shù)據(jù)治理體系框架

1.數(shù)據(jù)治理總體框架

數(shù)據(jù)治理框架整體上可分為三層：

第一層是頂層設(shè)計(jì)方面，在開(kāi)展數(shù)據(jù)治理的過(guò)程中，首先需要自上而下地組織保障，每一級(jí)也要有相應(yīng)的角色和崗位來(lái)開(kāi)展工作。在此基礎(chǔ)上，還需要制度與流程的保障，數(shù)據(jù)治理本身就是偏管理和協(xié)調(diào)類的工作，需要通過(guò)各種各樣的流程制度來(lái)實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)和工作的推動(dòng)。

第二層是治理領(lǐng)域方面，首先數(shù)據(jù)質(zhì)量是數(shù)據(jù)治理必不可缺的領(lǐng)域，也是主要的抓手，需要通過(guò)數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)問(wèn)題整改等一系列工作來(lái)保障組織內(nèi)各個(gè)系統(tǒng)、各個(gè)業(yè)務(wù)數(shù)據(jù)質(zhì)量的提升。其次是數(shù)據(jù)資產(chǎn)的統(tǒng)籌，包括元數(shù)據(jù)、數(shù)據(jù)模型、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)架構(gòu)的管理。最后是數(shù)據(jù)安全管控，包括數(shù)據(jù)安全的管理制度、技術(shù)平臺(tái)、持續(xù)化安全運(yùn)營(yíng)等。

第三層是平臺(tái)工具，例如數(shù)據(jù)管控平臺(tái)、數(shù)據(jù)模型工具、數(shù)據(jù)資產(chǎn)門戶、數(shù)據(jù)安全運(yùn)營(yíng)平臺(tái)等，通過(guò)這些平臺(tái)來(lái)支撐以上數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)模型、數(shù)據(jù)架構(gòu)和數(shù)據(jù)安全等方面的工作。

2.數(shù)據(jù)治理組織架構(gòu)

細(xì)化到各個(gè)領(lǐng)域，首先在組織架構(gòu)層面，一般的金融企業(yè)或者央企、國(guó)企都會(huì)分為三層的組織架構(gòu)，自上而下地開(kāi)展整個(gè)企業(yè)或者集團(tuán)的數(shù)據(jù)治理工作。

在最上層決策層，由公司董事長(zhǎng)或者總裁來(lái)牽頭整個(gè)公司的數(shù)據(jù)治理工作，成立數(shù)據(jù)治理委員會(huì)或者叫數(shù)據(jù)治理領(lǐng)導(dǎo)小組，所以數(shù)據(jù)治理也是一把手工程。

第二層是管理層，管理層一般會(huì)成立相應(yīng)的數(shù)據(jù)治理辦公室或者數(shù)據(jù)治理工作小組來(lái)推進(jìn)相關(guān)的制度建設(shè)、工具建設(shè)以及標(biāo)準(zhǔn)化流程落地。

第三層是執(zhí)行層，即每個(gè)業(yè)務(wù)部門或者每一個(gè)開(kāi)發(fā)團(tuán)隊(duì)，有相應(yīng)的數(shù)據(jù)治理專員來(lái)執(zhí)行數(shù)據(jù)治理策略、數(shù)據(jù)標(biāo)準(zhǔn)流程以及落實(shí)數(shù)據(jù)質(zhì)量的要求和數(shù)據(jù)安全的管控。

3.數(shù)據(jù)治理制度體系

在制度體系層面，首先會(huì)有一個(gè)公司層面或者集團(tuán)層面的數(shù)據(jù)管理辦法，用來(lái)統(tǒng)籌數(shù)據(jù)管理領(lǐng)域相關(guān)的各項(xiàng)規(guī)范細(xì)則。然后會(huì)有數(shù)據(jù)標(biāo)準(zhǔn)細(xì)則、數(shù)據(jù)質(zhì)量細(xì)則、數(shù)據(jù)模型細(xì)則、元數(shù)據(jù)細(xì)則、數(shù)據(jù)架構(gòu)設(shè)計(jì)規(guī)范等一系列的規(guī)范和流程。最后基于以上各類細(xì)則，需要發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、數(shù)據(jù)架構(gòu)等各類流程與模板，用來(lái)在每一個(gè)流程中進(jìn)行評(píng)審和檢查。同時(shí)數(shù)據(jù)安全管理辦法也會(huì)作為一個(gè)獨(dú)立的制度體系，在整個(gè)集團(tuán)或者公司內(nèi)發(fā)布，并且會(huì)按照數(shù)據(jù)全生命周期劃分，如數(shù)據(jù)的存儲(chǔ)安全、傳輸安全、備份安全等。

三、數(shù)據(jù)各領(lǐng)域的管理

1.數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)各領(lǐng)域包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)安全等。數(shù)據(jù)標(biāo)準(zhǔn)指通過(guò)對(duì)數(shù)據(jù)的規(guī)范和一致定義來(lái)規(guī)范指標(biāo)的業(yè)務(wù)屬性、管理屬性及技術(shù)屬性，避免指標(biāo)重復(fù)建設(shè)、指標(biāo)口徑不統(tǒng)一等各類情況。業(yè)務(wù)屬性包括數(shù)據(jù)指標(biāo)的中英文名稱、簡(jiǎn)稱、別名、業(yè)務(wù)定義、業(yè)務(wù)規(guī)則、統(tǒng)計(jì)頻率等方面內(nèi)容。技術(shù)屬性包括數(shù)據(jù)的類型、格式、長(zhǎng)度、精度等，也即在數(shù)據(jù)庫(kù)里進(jìn)行物理模型設(shè)計(jì)及落地的一些屬性。管理屬性是由數(shù)據(jù)治理或者數(shù)據(jù)管理歸口的團(tuán)隊(duì)來(lái)牽頭制定的數(shù)據(jù)標(biāo)準(zhǔn)分類、安全定級(jí)、標(biāo)準(zhǔn)的定義部門、管理者和業(yè)務(wù)應(yīng)用系統(tǒng)等相關(guān)信息。

2.數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理整體的流程和思路可以結(jié)合 DMAIC 六西格瑪框架或者 PDCA 環(huán)來(lái)進(jìn)行設(shè)計(jì)。

以 DMAIC 為例。首先在定義階段需要明確數(shù)據(jù)質(zhì)量相對(duì)應(yīng)的質(zhì)量規(guī)則，基于這些規(guī)則才能在第二個(gè)階段進(jìn)行數(shù)據(jù)質(zhì)量的檢核，通過(guò)檢核發(fā)現(xiàn)的問(wèn)題，可以在第三個(gè)階段進(jìn)行分析和溯源，再由問(wèn)題原因發(fā)生的團(tuán)隊(duì)來(lái)進(jìn)行數(shù)據(jù)質(zhì)量的整改和提升，最后由數(shù)據(jù)治理團(tuán)隊(duì)進(jìn)行全流程的跟進(jìn)和控制。

3.數(shù)據(jù)質(zhì)量管理工具

為了支持上述流程，需要完善的數(shù)據(jù)質(zhì)量管理工具。工具層面，可以分為數(shù)據(jù)層、計(jì)算層和應(yīng)用層。首先在數(shù)據(jù)層，數(shù)據(jù)質(zhì)量管理工具需要把企業(yè)內(nèi)部的各類數(shù)據(jù)管理起來(lái)，如賬戶數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、投研數(shù)據(jù)、報(bào)送數(shù)據(jù)等。在計(jì)算層，需要基于工具對(duì)各類數(shù)據(jù)進(jìn)行一致性、完整性、準(zhǔn)確性或者空值檢測(cè)等各類基礎(chǔ)數(shù)據(jù)或者指標(biāo)數(shù)據(jù)的監(jiān)控。通過(guò)一些規(guī)則的配置完成質(zhì)檢任務(wù)以及數(shù)據(jù)質(zhì)量監(jiān)控任務(wù)的運(yùn)行和告警。在應(yīng)用層，可以通過(guò)數(shù)據(jù)問(wèn)題的管理以及數(shù)據(jù)質(zhì)量看板提供的功能來(lái)支撐，如提供一些管理問(wèn)題工單的錄入、問(wèn)題的統(tǒng)計(jì)數(shù)據(jù)、質(zhì)量評(píng)分卡等功能。以上就是整個(gè)數(shù)據(jù)質(zhì)量管理的閉環(huán)流程，在事前、事中、事后進(jìn)行整體的數(shù)據(jù)質(zhì)量保障。

4.數(shù)據(jù)質(zhì)量監(jiān)控

數(shù)據(jù)質(zhì)量監(jiān)控是在數(shù)據(jù)質(zhì)量工作中提前發(fā)現(xiàn)問(wèn)題，并且避免數(shù)據(jù)問(wèn)題重復(fù)發(fā)生的主要手段，需要覆蓋企業(yè)內(nèi)部各類 OLAP 和 OLTP 系統(tǒng)。

數(shù)據(jù)質(zhì)量監(jiān)控分為五大類，第一類是基礎(chǔ)數(shù)據(jù)的監(jiān)控，如針對(duì)客戶數(shù)據(jù)、交易數(shù)據(jù)、產(chǎn)品數(shù)據(jù)等原始數(shù)據(jù)，需要從完整性、一致性、準(zhǔn)確性、真實(shí)性等方面進(jìn)行監(jiān)控；第二類是指標(biāo)數(shù)據(jù)監(jiān)控，指針對(duì)如報(bào)表加工出來(lái)的各類數(shù)據(jù)進(jìn)行同比波動(dòng)、環(huán)比波動(dòng)、最大值等各類指標(biāo)類數(shù)據(jù)的監(jiān)控；第三類是跨系統(tǒng)數(shù)據(jù)監(jiān)控，是對(duì)于企業(yè)內(nèi)部多個(gè)系統(tǒng)中同一類數(shù)據(jù)一致性的監(jiān)控，如賬戶系統(tǒng)和另一個(gè)系統(tǒng)都有客戶的個(gè)人信息數(shù)據(jù)；第四類是數(shù)據(jù)任務(wù)的監(jiān)控，通過(guò)對(duì)各種任務(wù)的及時(shí)性或者一致性做數(shù)據(jù)任務(wù)的保障；第五類是表結(jié)構(gòu)監(jiān)控，針對(duì)各類數(shù)據(jù)庫(kù)的原始數(shù)據(jù)進(jìn)行監(jiān)控，一旦表結(jié)構(gòu)發(fā)生變動(dòng)，就將變動(dòng)及時(shí)告訴給下游系統(tǒng)和相關(guān)的負(fù)責(zé)人，讓他們及時(shí)評(píng)估。

5.數(shù)據(jù)模型管理

數(shù)據(jù)模型管理的整體思路應(yīng)與企業(yè)內(nèi)部的研發(fā)流程相結(jié)合，如與 DevOps 相結(jié)合貫穿于數(shù)據(jù)模型的設(shè)計(jì)、開(kāi)發(fā)、測(cè)試和上線全過(guò)程。同時(shí)也需要通過(guò)數(shù)據(jù)模型的規(guī)范性檢查和數(shù)據(jù)模型的監(jiān)控，來(lái)確保數(shù)據(jù)模型的質(zhì)量。在事前針對(duì)自研類、采購(gòu)類等系統(tǒng)做模型的逆向和設(shè)計(jì)，把模型管理起來(lái)。同時(shí)這些模型在設(shè)計(jì)過(guò)程中，需要和企業(yè)內(nèi)部的數(shù)據(jù)標(biāo)準(zhǔn)做映射和引用，從而保證數(shù)據(jù)模型在設(shè)計(jì)階段的規(guī)范性。事中階段，通過(guò)數(shù)據(jù)治理團(tuán)隊(duì)或數(shù)據(jù)架構(gòu)團(tuán)隊(duì)對(duì)數(shù)據(jù)模型評(píng)審保障模型規(guī)范性的落地。事后，通過(guò)生產(chǎn)態(tài)模型和設(shè)計(jì)態(tài)模型的比對(duì)來(lái)監(jiān)控，如上線后和規(guī)范性設(shè)計(jì)階段是否一致來(lái)做事后的檢核和保障。

6.元數(shù)據(jù)管理

元數(shù)據(jù)管理更偏技術(shù)，例如通過(guò)元數(shù)據(jù)系統(tǒng)對(duì)各個(gè)業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖里源頭的數(shù)據(jù)做采集和版本管理。同時(shí)基于元數(shù)據(jù)和研發(fā)流程的打通做血緣關(guān)系的解析、預(yù)發(fā)布庫(kù)的管理。最終通過(guò)元數(shù)據(jù)的管理來(lái)實(shí)現(xiàn)影響分析、表結(jié)構(gòu)的冷熱度分析、跨環(huán)境的比對(duì)等應(yīng)用場(chǎng)景。

7.元數(shù)據(jù)的融合與共享

以元數(shù)據(jù)的融合與共享為例，將元數(shù)據(jù)系統(tǒng)與研發(fā)流程打通，即元數(shù)據(jù)系統(tǒng)與底部的數(shù)據(jù)交換平臺(tái)、數(shù)據(jù)服務(wù)平臺(tái)、數(shù)據(jù)展現(xiàn)的前端平臺(tái)打通，然后通過(guò)前端的一些研發(fā)平臺(tái)或者 OA 流程對(duì)元數(shù)據(jù)的變動(dòng)做評(píng)審，只有評(píng)審?fù)ㄟ^(guò)后才能正常上線。

8.數(shù)據(jù)安全管理

目前國(guó)家對(duì)數(shù)據(jù)安全高度重視，數(shù)據(jù)安全相關(guān)的法律法規(guī)也日趨嚴(yán)格。開(kāi)展數(shù)據(jù)安全管理的思路，可以以個(gè)人客戶信息為中心，建立貫穿于數(shù)據(jù)全生命周期的安全治理體系。例如有數(shù)據(jù)安全治理相關(guān)的戰(zhàn)略組織架構(gòu)和制度規(guī)范，在技術(shù)平臺(tái)方面有數(shù)據(jù)安全相關(guān)的敏感數(shù)據(jù)識(shí)別工具、數(shù)據(jù)庫(kù)防護(hù)系統(tǒng)、數(shù)據(jù)庫(kù)審計(jì)系統(tǒng)、數(shù)據(jù)防泄露 DLP 平臺(tái)以及隱私計(jì)算平臺(tái)。在數(shù)據(jù)安全治理的運(yùn)營(yíng)體系方面，包括數(shù)據(jù)資產(chǎn)的識(shí)別、數(shù)據(jù)安全的風(fēng)險(xiǎn)監(jiān)測(cè)、數(shù)據(jù)安全的應(yīng)急響應(yīng)、企業(yè)內(nèi)的培訓(xùn)和宣貫等。

9.數(shù)據(jù)全生命周期安全

在數(shù)據(jù)全生命周期的不同階段對(duì)應(yīng)的工具也不太一樣。例如在數(shù)據(jù)采集階段，有數(shù)據(jù)的分類分級(jí)、安全準(zhǔn)入、元數(shù)據(jù)的管理、數(shù)據(jù)源的認(rèn)證等。在數(shù)據(jù)交換階段，通過(guò)數(shù)據(jù)加密、數(shù)據(jù)脫敏、數(shù)據(jù)審計(jì)、數(shù)據(jù)水印、數(shù)據(jù)溯源等平臺(tái)工具來(lái)進(jìn)行數(shù)據(jù)交換的安全管控。

10.數(shù)據(jù)的分類分級(jí)

數(shù)據(jù)的分類分級(jí)是數(shù)據(jù)安全治理的前提，企業(yè)內(nèi)部開(kāi)展數(shù)據(jù)安全治理工作，一般第一步都是要開(kāi)展數(shù)據(jù)分類分級(jí)。基于一些行業(yè)標(biāo)準(zhǔn)來(lái)進(jìn)行企業(yè)內(nèi)部數(shù)據(jù)分類分級(jí)框架的建立，同時(shí)可以搭建數(shù)據(jù)分類分級(jí)平臺(tái)，對(duì)企業(yè)內(nèi)部各類業(yè)務(wù)系統(tǒng)數(shù)據(jù)做敏感數(shù)據(jù)的識(shí)別，最終搭建數(shù)據(jù)資產(chǎn)門戶。基于數(shù)據(jù)分類分級(jí)進(jìn)一步推進(jìn)數(shù)據(jù)安全的風(fēng)險(xiǎn)識(shí)別、數(shù)據(jù)安全的防護(hù)規(guī)劃、數(shù)據(jù)安全的持續(xù)運(yùn)營(yíng)，以及敏感數(shù)據(jù)的申請(qǐng)等各類應(yīng)用場(chǎng)景。

四、數(shù)據(jù)治理實(shí)踐

1.集團(tuán)內(nèi)企業(yè)數(shù)據(jù)共享實(shí)踐

下面以集團(tuán)內(nèi)企業(yè)的數(shù)據(jù)共享實(shí)踐為例，介紹數(shù)據(jù)安全。例如一些央企，可能是跨業(yè)態(tài)的集團(tuán)，包括港口子公司、銀行子公司、證券子公司、物流子公司等，開(kāi)展數(shù)據(jù)共享的困難是非常大的。可以從組織內(nèi)部的一些數(shù)據(jù)入手，包括集團(tuán)內(nèi)部的組織數(shù)據(jù)、員工數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、供應(yīng)商數(shù)據(jù)等，通過(guò)這些數(shù)據(jù)共享來(lái)對(duì)企業(yè)內(nèi)部 OA、采購(gòu)等各類平臺(tái)建設(shè)做支撐。

2.數(shù)據(jù)治理平臺(tái)典型框架

很多企業(yè)會(huì)和數(shù)據(jù)中臺(tái)結(jié)合去建設(shè)數(shù)據(jù)治理平臺(tái)。在大數(shù)據(jù)平臺(tái)建設(shè)框架里，元數(shù)據(jù)基于源頭系統(tǒng)做元數(shù)據(jù)的采集、數(shù)據(jù)地圖建設(shè)、數(shù)據(jù)血緣的解析等，然后通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型等平臺(tái)進(jìn)一步支持?jǐn)?shù)據(jù)服務(wù)功能，并且最終支持前端的一些報(bào)表平臺(tái)、業(yè)務(wù)系統(tǒng)、機(jī)器學(xué)習(xí)等各類應(yīng)用。

3.數(shù)據(jù)治理考核

數(shù)據(jù)治理考核在不同企業(yè)的重視程度不太一樣，沒(méi)有嚴(yán)格的獎(jiǎng)懲制度，很多業(yè)務(wù)部門配合度不高。所以數(shù)據(jù)治理是從上而下去推動(dòng)，并且要開(kāi)展數(shù)據(jù)治理的考核。例如有的部門一年到頭經(jīng)常提數(shù)據(jù)問(wèn)題或者投訴數(shù)據(jù)問(wèn)題，但是本身又沒(méi)有配合數(shù)據(jù)治理工作，沒(méi)有制定相應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)，沒(méi)有進(jìn)行相應(yīng)的數(shù)據(jù)質(zhì)量監(jiān)控，那么數(shù)據(jù)治理考核分就應(yīng)該扣分。但如果有的部門問(wèn)題很少，又主動(dòng)配合制定一些規(guī)則和標(biāo)準(zhǔn)，那么就會(huì)有考核的加分，這就是獎(jiǎng)懲制度的一些策略，可以結(jié)合各個(gè)企業(yè)的實(shí)際情況去開(kāi)展。

4.數(shù)據(jù)治理典型實(shí)踐框架

最后介紹企業(yè)數(shù)據(jù)治理的一個(gè)典型框架。首先在頂層會(huì)有整個(gè)企業(yè)數(shù)據(jù)治理或者數(shù)字化轉(zhuǎn)型的目標(biāo)愿景、指導(dǎo)原則、規(guī)劃實(shí)施路線和管理模式。同時(shí)在數(shù)據(jù)治理框架上，建設(shè)數(shù)據(jù)治理相關(guān)的組織架構(gòu)、制度政策、管理流程和模板手冊(cè)。數(shù)據(jù)治理的管理模塊包括模型的管理、標(biāo)準(zhǔn)的管理、質(zhì)量的管理、元數(shù)據(jù)的管理以及安全的管理。在底層平臺(tái)上通過(guò)數(shù)據(jù)模型平臺(tái)、數(shù)據(jù)管控平臺(tái)、數(shù)據(jù)安全運(yùn)營(yíng)平臺(tái)等，或者統(tǒng)稱為數(shù)據(jù)資產(chǎn)平臺(tái)進(jìn)行整體的支撐。