隨著數(shù)據(jù)治理工作的深入，數(shù)據(jù)架構(gòu)也顯得越來越重要，那么何謂數(shù)據(jù)架構(gòu)，其重要性體現(xiàn)在哪里呢？在TOGAF（The Open Group Architecture Framework）標(biāo)準(zhǔn)企業(yè)架構(gòu)中包含了業(yè)務(wù)架構(gòu)、數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)、技術(shù)架構(gòu)，相較于業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)，因?yàn)閿?shù)據(jù)能夠真實(shí)而有效地反映出信息系統(tǒng)支撐下的企業(yè)全面運(yùn)作狀況，所以數(shù)據(jù)架構(gòu)在整體信息科技架構(gòu)中，顯得既基礎(chǔ)又核心。在DMBOK數(shù)據(jù)管理知識(shí)體系中認(rèn)為，數(shù)據(jù)架構(gòu)組織了重要元素的定義、術(shù)語和模型設(shè)計(jì)標(biāo)準(zhǔn)，包括：業(yè)務(wù)數(shù)據(jù)描述，數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)集成、數(shù)據(jù)流轉(zhuǎn)和分發(fā)等。數(shù)據(jù)架構(gòu)涵蓋了數(shù)據(jù)模型（數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)規(guī)范）以及數(shù)據(jù)流設(shè)計(jì)。

簡單一點(diǎn)，數(shù)據(jù)架構(gòu)就是怎么讓數(shù)據(jù)分布的更合理，更高效的支持應(yīng)用功能，快速的滿足業(yè)務(wù)各個(gè)流程中的增刪查改要求，同時(shí)解決好系統(tǒng)里各功能模塊間的引用關(guān)系，以及多個(gè)系統(tǒng)間的引用關(guān)系。

數(shù)據(jù)架構(gòu)設(shè)計(jì)面臨的挑戰(zhàn)

近年來，數(shù)字化轉(zhuǎn)型如火如荼，業(yè)務(wù)模式、產(chǎn)品和服務(wù)的競爭力轉(zhuǎn)變是目的，而新技術(shù)的應(yīng)用則是支點(diǎn)和手段，數(shù)據(jù)的采集、整合、應(yīng)用、管理才是數(shù)字化轉(zhuǎn)型的基礎(chǔ)。數(shù)據(jù)的形態(tài)、格式以及類型的轉(zhuǎn)變已經(jīng)勢不可擋，半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)越來越多，數(shù)據(jù)的體量和復(fù)雜性正在快速增長，而應(yīng)用快節(jié)奏的迭代變更同時(shí)又要求數(shù)據(jù)架構(gòu)的變化也得跟上，新角色（數(shù)據(jù)分析師)對數(shù)據(jù)多樣性需求只增不減，這就對數(shù)據(jù)架構(gòu)的設(shè)計(jì)和管理提出了更高的要求。

1、數(shù)據(jù)分布要求多樣化

數(shù)據(jù)量增長迅猛，數(shù)據(jù)類型千變?nèi)f化，使得數(shù)據(jù)庫技術(shù)發(fā)展迅速。全世界目前已經(jīng)有363個(gè)數(shù)據(jù)產(chǎn)品，有傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，用來進(jìn)行結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和相關(guān)事務(wù)處理。新興的NoSQL數(shù)據(jù)庫及專用型數(shù)據(jù)庫，具有高并發(fā)高吞吐量的特點(diǎn)，用于存儲(chǔ)和處理非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)（如文檔，圖，時(shí)序、時(shí)空，K-V）；其他的如列式存儲(chǔ)的分析型數(shù)據(jù)庫，既進(jìn)行海量的數(shù)據(jù)存儲(chǔ)和復(fù)雜的分析計(jì)算，又可以支持深度的智能化分析。數(shù)字化轉(zhuǎn)型后各個(gè)應(yīng)用系統(tǒng)應(yīng)用場景多樣化，數(shù)據(jù)訪問方式及訪問性能要求復(fù)雜化，同時(shí)對數(shù)據(jù)生命周期的要求也更精細(xì)化，以上決定了在數(shù)據(jù)分布設(shè)計(jì)時(shí)需要選擇適合自己的不同的數(shù)據(jù)庫技術(shù)開展整體方案設(shè)計(jì)，滿足業(yè)務(wù)需求。

2、數(shù)據(jù)建模個(gè)性化

DMBOK2將數(shù)據(jù)建模和設(shè)計(jì)定義為“數(shù)據(jù)模型是形式化的表達(dá)和溝通數(shù)據(jù)需求的過程和產(chǎn)物”，數(shù)據(jù)模型的主要目的是識(shí)別或確認(rèn)數(shù)據(jù)要求，換句話說是業(yè)務(wù)需求定義的擴(kuò)展，做到能夠在少變動(dòng)數(shù)據(jù)結(jié)構(gòu)的情況下支持未來的應(yīng)用功能，支持基于組件和敏捷的開發(fā)這是模型設(shè)計(jì)的方向。靈活但不能失控，復(fù)雜但需要溯源，高效但需要高質(zhì)，數(shù)據(jù)模型設(shè)計(jì)和管理需要適應(yīng)新形勢的發(fā)展要求，量體裁衣、因地制宜。數(shù)據(jù)模型分為概念建模、邏輯建模和物理建模三個(gè)階段。概念和邏輯模型階段是為了與業(yè)務(wù)人員更好的溝通，便于業(yè)務(wù)人員理解，而到了物理模型階段，如何能讓系統(tǒng)簡化數(shù)據(jù)冗余、減少磁盤空間、提升傳輸效率，系統(tǒng)擁有良好的兼容性，對外服務(wù)的窗口時(shí)效性、傳輸安全性、數(shù)據(jù)的全面完整性成為了設(shè)計(jì)第一考慮因素。

面對不同類型的數(shù)據(jù)庫，我們需要對不同業(yè)務(wù)條線的系統(tǒng)，采用不同的數(shù)據(jù)建模設(shè)計(jì)方法，以滿足業(yè)務(wù)對數(shù)據(jù)的讀寫性能等需求。強(qiáng)數(shù)據(jù)一致性業(yè)務(wù)功能需要采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫進(jìn)行技術(shù)支撐，其數(shù)據(jù)架構(gòu)設(shè)計(jì)可以繼續(xù)沿用業(yè)內(nèi)認(rèn)可的數(shù)據(jù)模型設(shè)計(jì)及模型管理方法論開展相關(guān)工作，制定并執(zhí)行企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)，做好數(shù)據(jù)一致性的管理，同時(shí)按照企業(yè)的發(fā)展要求做好數(shù)據(jù)的生命周期管理，繼續(xù)采用發(fā)布數(shù)據(jù)模型及文件的方式提供數(shù)據(jù)服務(wù)。高并發(fā)查詢或全文檢索等場景需求需要借助一些非關(guān)系型數(shù)據(jù)庫進(jìn)行功能實(shí)現(xiàn)，其數(shù)據(jù)架構(gòu)需要結(jié)合不同的場景下讀寫模式要求進(jìn)行設(shè)計(jì)才以達(dá)到自己的目標(biāo)。這類數(shù)據(jù)庫的存儲(chǔ)體系強(qiáng)化了對數(shù)據(jù)Schema靈活變化的支持，所以降低了數(shù)據(jù)的一致性容忍度，弱化了數(shù)據(jù)可用性和災(zāi)難恢復(fù)的需求，加大了數(shù)據(jù)的延遲性，在數(shù)據(jù)架構(gòu)的設(shè)計(jì)過程中它們不用遵循關(guān)系數(shù)據(jù)庫中的范式約定，但為了性能考慮，必要的規(guī)范和原則還是需要。沒有規(guī)矩不成方圓，不能因?yàn)殪`活就放棄原則，比如HBase 中的行鍵（rowkey）結(jié)構(gòu)的定義，行鍵應(yīng)該包含什么信息以及分布,表應(yīng)該有多少列族等；Redis中Key值的格式規(guī)范，value值大小的控制等；Elasticsearch里 索引設(shè)置及分詞選擇，Index Mapping配置（字段配置，索引關(guān)系處理）等。不能因?yàn)樗鼈僴o Schema或less Schema理念就不去做模型的管控，其實(shí)更需要做好這類數(shù)據(jù)庫中實(shí)體和關(guān)系的管理，避免出現(xiàn)數(shù)據(jù)大量的存儲(chǔ)浪費(fèi)等失控現(xiàn)象。

3、架構(gòu)管理服務(wù)化

轉(zhuǎn)變思維，我們要以面向服務(wù)和運(yùn)營的方式進(jìn)行數(shù)據(jù)管理。這是要求數(shù)據(jù)架構(gòu)管理方多方位的提供全部數(shù)據(jù)的目錄、記錄、共享、報(bào)告、分析等信息給相關(guān)利益相關(guān)者，通過建立數(shù)據(jù)共享機(jī)制，保證數(shù)據(jù)源的唯一性；通過數(shù)據(jù)質(zhì)量審核，保證數(shù)據(jù)的準(zhǔn)確性、完整性；加強(qiáng)數(shù)據(jù)分布的集中維護(hù)、定期更新、策略備份等管理工作，避免數(shù)據(jù)源計(jì)入不受控，造成數(shù)據(jù)浪費(fèi)，從而最終實(shí)現(xiàn)數(shù)據(jù)的真正共享。有句話很有道理：數(shù)據(jù)和信息的來源很重要，甚至比數(shù)據(jù)和信息本身還要重要。這要求我們必須清楚的做好數(shù)據(jù)血緣關(guān)系，清晰的知曉數(shù)據(jù)的來龍去脈，避免最后數(shù)據(jù)形成了糊涂賬。伴隨著數(shù)字化轉(zhuǎn)型，數(shù)據(jù)已經(jīng)變成了企業(yè)的數(shù)據(jù)資產(chǎn)，作為資產(chǎn)就要通過運(yùn)營以達(dá)到其最大化的收益。為了體現(xiàn)數(shù)據(jù)的價(jià)值，需要從數(shù)據(jù)的正確性、時(shí)效性、安全性、全面性、完整性上建立數(shù)據(jù)運(yùn)營體系，通過設(shè)置相關(guān)指標(biāo)以可視化的方式完成相關(guān)統(tǒng)計(jì)和展示，以達(dá)到數(shù)據(jù)管理到數(shù)據(jù)資產(chǎn)管理的提升。如何對數(shù)據(jù)資產(chǎn)管理的流程性、安全性和有效性進(jìn)行保障需要我們對已有的組織架構(gòu)和管理制度進(jìn)行調(diào)整。

4、安全保護(hù)重要化

2018年歐盟提出的GDPR法案以及我國近些年提出的《數(shù)據(jù)安全法》、《個(gè)人信息保護(hù)法》《個(gè)人金融信息（數(shù)據(jù)）保護(hù)試行辦法》等，主要是對數(shù)據(jù)使用和流動(dòng)提出了一些要求，比如個(gè)人數(shù)據(jù)敏感界定問題、數(shù)據(jù)匿名化問題、數(shù)據(jù)地圖應(yīng)用問題、數(shù)據(jù)角色問題。

這些問題需要我們在數(shù)據(jù)的加工設(shè)計(jì)上要采用一定的分離措施，達(dá)到最小化目的；在數(shù)據(jù)訪問的設(shè)計(jì)上結(jié)合個(gè)人敏感信息的要求進(jìn)行差異化對待，實(shí)現(xiàn)數(shù)據(jù)保護(hù)。在數(shù)據(jù)生命周期的設(shè)計(jì)上，對信息的“收集、傳輸、存儲(chǔ)、使用、刪除、銷毀”等每一個(gè)環(huán)節(jié)做好分類分項(xiàng)的規(guī)劃。整個(gè)上述內(nèi)容需要我們在數(shù)據(jù)架構(gòu)的管控上做好敏感數(shù)據(jù)識(shí)別和數(shù)據(jù)等級分類指導(dǎo)，通過設(shè)立專業(yè)的數(shù)據(jù)保護(hù)管理組織，制定相應(yīng)的流程、業(yè)務(wù)實(shí)踐和策略，提升數(shù)據(jù)合規(guī)管理的能力。

5、數(shù)據(jù)治理場景化

傳統(tǒng)的根據(jù)元數(shù)據(jù)管理為驅(qū)動(dòng)或者以主數(shù)據(jù)管理為驅(qū)動(dòng)開展數(shù)據(jù)治理工作，做不到全面的數(shù)據(jù)治理工作；以監(jiān)管要求為出發(fā)點(diǎn)進(jìn)行數(shù)據(jù)治理，治理的價(jià)值難以體現(xiàn)到實(shí)際業(yè)務(wù)端。

隨著數(shù)據(jù)資產(chǎn)化的深入以及價(jià)值體現(xiàn)要求，數(shù)據(jù)要對業(yè)務(wù)進(jìn)行賦能，所以我們需要從啟動(dòng)從數(shù)據(jù)服務(wù)的某個(gè)場景化里開展數(shù)據(jù)治理，結(jié)合已有的元數(shù)據(jù)或主數(shù)據(jù)治理方案，兩頭并進(jìn)，持續(xù)開展，逐步提升數(shù)據(jù)價(jià)值。

農(nóng)行數(shù)據(jù)架構(gòu)管理實(shí)踐

1、數(shù)據(jù)庫能力緊跟發(fā)展變化

農(nóng)行信息系統(tǒng)建設(shè)經(jīng)歷了幾十年，以數(shù)據(jù)流程進(jìn)行劃分，數(shù)據(jù)生產(chǎn)系統(tǒng)主要以聯(lián)機(jī)交易為主，這些系統(tǒng)用戶群體大，業(yè)務(wù)量大，對交易的響應(yīng)速度有要求，最開始使用Sybase ASE，隨著應(yīng)用的并發(fā)要求越來越高，引入了Oracle，結(jié)合自主可控的發(fā)展要求，引入了開源的MySQL數(shù)據(jù)庫以及相關(guān)商業(yè)組件。為了進(jìn)一步的提高響應(yīng)速度，行內(nèi)進(jìn)一步的使用了一些開源的內(nèi)存數(shù)據(jù)庫，比如Redis、MemCache等，拓展了系統(tǒng)的應(yīng)用支持能力。數(shù)據(jù)消費(fèi)系統(tǒng)，主要是農(nóng)行在大數(shù)據(jù)計(jì)算及分析領(lǐng)域的相關(guān)應(yīng)用系統(tǒng)，結(jié)構(gòu)化的數(shù)據(jù)庫方面最開始使用Sybase IQ，隨著大數(shù)據(jù)計(jì)算的升級，引入了MPP架構(gòu)的數(shù)據(jù)庫GBASE，并結(jié)合Hadoop生態(tài)開展相關(guān)計(jì)算及存儲(chǔ)，同時(shí)建設(shè)數(shù)據(jù)中臺(tái)對外提供數(shù)據(jù)服務(wù)。非結(jié)構(gòu)化方面主要采用Hadoop生態(tài)以及ElasticSearch生態(tài)開展相關(guān)工作。隨著業(yè)務(wù)的進(jìn)一步發(fā)展，為滿足應(yīng)用的快速開發(fā)，實(shí)現(xiàn)對用戶透明、按需無感擴(kuò)容，支持應(yīng)用級的隔離等要求引入了MongoDB，同時(shí)為滿足客戶營銷（獲客）、反洗錢模型、信用卡虛假申請，信貸風(fēng)險(xiǎn)監(jiān)控等等大數(shù)據(jù)量關(guān)系建模、實(shí)時(shí)復(fù)雜關(guān)系遍歷查找需求,引入了圖數(shù)據(jù)庫。

2、數(shù)據(jù)架構(gòu)管理雙管齊下

農(nóng)行目前建設(shè)了數(shù)據(jù)架構(gòu)管理系統(tǒng)，實(shí)現(xiàn)了企業(yè)級數(shù)據(jù)模型的全流程管理，涵蓋基礎(chǔ)數(shù)據(jù)項(xiàng)、概念模型、邏輯模型，通過基礎(chǔ)數(shù)據(jù)項(xiàng)的復(fù)用，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的落地實(shí)施，提高數(shù)據(jù)標(biāo)準(zhǔn)化水平，提升數(shù)據(jù)間一致性，落地實(shí)施了《中國農(nóng)業(yè)銀行軟件開發(fā)中心應(yīng)用系統(tǒng)數(shù)據(jù)模型設(shè)計(jì)與開發(fā)指引》。目前該系統(tǒng)中已經(jīng)實(shí)現(xiàn)了主機(jī)DB2，Oracle,開放DB2，GBASE，HBASE以及MongoDB等多種數(shù)據(jù)庫類型的模型設(shè)計(jì)及管理。同時(shí)農(nóng)行建設(shè)元數(shù)據(jù)管理系統(tǒng)，一方面以數(shù)據(jù)模型為樞紐，將數(shù)據(jù)治理與數(shù)據(jù)應(yīng)用結(jié)合起來，強(qiáng)化數(shù)據(jù)標(biāo)準(zhǔn)的落地執(zhí)行，在數(shù)據(jù)應(yīng)用過程中發(fā)現(xiàn)問題、推動(dòng)治理、提升質(zhì)量。另一方面打造了企業(yè)級的數(shù)據(jù)資產(chǎn)管理統(tǒng)一視圖，向農(nóng)行全體用戶或分析挖掘平臺(tái)等各管理應(yīng)用提供全面、穩(wěn)定、統(tǒng)一的數(shù)據(jù)資產(chǎn)服務(wù)，滿足目前大數(shù)據(jù)時(shí)代下的元數(shù)據(jù)需求，從而提高對數(shù)據(jù)的管理、使用、質(zhì)量管理、貫標(biāo)等工作能力。

3、數(shù)據(jù)安全管理合規(guī)開展

目前農(nóng)行已經(jīng)以數(shù)據(jù)保護(hù)影響評估（DPIA）為切入點(diǎn)，在項(xiàng)目全流程實(shí)施隱私數(shù)據(jù)保護(hù)，降低數(shù)據(jù)風(fēng)險(xiǎn)。首先在系統(tǒng)需求階段需要參照GDPR（通用數(shù)據(jù)保護(hù)條例）要求，對收集或處理歐盟區(qū)個(gè)人數(shù)據(jù)等敏感事項(xiàng)，是否進(jìn)行了數(shù)據(jù)保護(hù)影響評估，其次農(nóng)行建設(shè)了個(gè)人數(shù)據(jù)標(biāo)識(shí)平臺(tái)，結(jié)合數(shù)據(jù)架構(gòu)管理系統(tǒng)對涉及個(gè)人信息字段進(jìn)行安全級別標(biāo)識(shí)，產(chǎn)生的數(shù)據(jù)內(nèi)容將作為個(gè)人信息保護(hù)和安全控制的依據(jù)，為行內(nèi)各系統(tǒng)開發(fā)、數(shù)據(jù)使用的過程當(dāng)中提供相應(yīng)的數(shù)據(jù)安全服務(wù)。

結(jié)語

數(shù)據(jù)決策能力體現(xiàn)了一個(gè)企業(yè)數(shù)字化轉(zhuǎn)型的程度，如何讓數(shù)據(jù)更好的支持業(yè)務(wù)開展、服務(wù)決策制定這是數(shù)字化轉(zhuǎn)型的目標(biāo)。數(shù)據(jù)架構(gòu)的設(shè)計(jì)和管理是業(yè)務(wù)、數(shù)據(jù)、技術(shù)融合的產(chǎn)出物，要解決“煙囪式重復(fù)”，做好“服務(wù)能力的沉淀”，實(shí)現(xiàn)數(shù)據(jù)服務(wù)的組件化、平臺(tái)化和共享化，體現(xiàn)出數(shù)據(jù)作為生產(chǎn)要素的價(jià)值。