日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數(shù)據(jù)治理平臺

睿治作為國內(nèi)功能最全的數(shù)據(jù)治理產(chǎn)品之一,入選IDC企業(yè)數(shù)據(jù)治理實施部署指南。同時,在IDC發(fā)布的《中國數(shù)據(jù)治理市場份額》報告中,連續(xù)四年蟬聯(lián)數(shù)據(jù)治理解決方案市場份額第一。

企業(yè)數(shù)據(jù)治理的重點和難點

時間:2022-08-26來源:互聯(lián)網(wǎng)瀏覽數(shù):194

重點的話,從技術(shù)實施角度看,主要包含“理”“采”“存”“管”“用”這五個,即業(yè)務(wù)和數(shù)據(jù)資源梳理、數(shù)據(jù)采集清洗、數(shù)據(jù)庫設(shè)計和存儲、數(shù)據(jù)管理、數(shù)據(jù)使用。
數(shù)據(jù)資源梳理:數(shù)據(jù)治理的第一個步驟是從業(yè)務(wù)的視角厘清組織的數(shù)據(jù)資源環(huán)境和數(shù)據(jù)資源清單,包含組織機(jī)構(gòu)、業(yè)務(wù)事項、信息系統(tǒng),以及以數(shù)據(jù)庫、網(wǎng)頁、文件和 API 接口形式存在的數(shù)據(jù)項資源,本步驟的輸出物為分門別類的數(shù)據(jù)資源清單。

數(shù)據(jù)采集清洗:通過可視化的 ETL 工具(例如阿里的 DataX,Pentaho Data Integration)將數(shù)據(jù)從來源端經(jīng)過抽取 (extract)、轉(zhuǎn)換 (transform)、加載 (load) 至目的端的過程,目的是將散落和零亂的數(shù)據(jù)集中存儲起來。

基礎(chǔ)庫主題庫建設(shè):一般情況下,可以將數(shù)據(jù)分為基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)主題數(shù)據(jù)和分析數(shù)據(jù)。基礎(chǔ)數(shù)據(jù)一般指的是核心實體數(shù)據(jù),或稱主數(shù)據(jù),例如智慧城市中的人口、法人、地理信息、信用、電子證照等數(shù)據(jù)。主題數(shù)據(jù)一般指的是某個業(yè)務(wù)主題數(shù)據(jù),例如市場監(jiān)督管理局的食品監(jiān)管、質(zhì)量監(jiān)督檢查、企業(yè)綜合監(jiān)管等數(shù)據(jù)。而分析數(shù)據(jù)指的是基于業(yè)務(wù)主題數(shù)據(jù)綜合分析而得的分析結(jié)果數(shù)據(jù),例如市場監(jiān)督管理局的企業(yè)綜合評價、產(chǎn)業(yè)區(qū)域分布、高危企業(yè)分布等。那么基礎(chǔ)庫和主題庫的建設(shè)就是在對業(yè)務(wù)理解的基礎(chǔ)上,基于易存儲、易管理、易使用的原則抽像數(shù)據(jù)存儲結(jié)構(gòu),說白了,就是基于一定的原則設(shè)計數(shù)據(jù)庫表結(jié)構(gòu),然后再根據(jù)數(shù)據(jù)資源清單設(shè)計數(shù)據(jù)采集清洗流程,將整潔干凈的數(shù)據(jù)存儲到數(shù)據(jù)庫或數(shù)據(jù)倉庫中。

元數(shù)據(jù)管理:元數(shù)據(jù)管理是對基礎(chǔ)庫和主題庫中的數(shù)據(jù)項屬性的管理,同時,將數(shù)據(jù)項的業(yè)務(wù)含義與數(shù)據(jù)項進(jìn)行了關(guān)聯(lián),便于業(yè)務(wù)人員也能夠理解數(shù)據(jù)庫中的數(shù)據(jù)字段含義,并且,元數(shù)據(jù)是后面提到的自動化數(shù)據(jù)共享、數(shù)據(jù)交換和商業(yè)智能BI)的基礎(chǔ)。需要注意的是,元數(shù)據(jù)管理一般是對基礎(chǔ)庫和主題庫中(即核心數(shù)據(jù)資產(chǎn))的數(shù)據(jù)項屬性的管理,而數(shù)據(jù)資源清單是對各類數(shù)據(jù)來源的數(shù)據(jù)項的管理。

血緣追蹤:數(shù)據(jù)被業(yè)務(wù)場景使用時,發(fā)現(xiàn)數(shù)據(jù)錯誤,數(shù)據(jù)治理團(tuán)隊需要快速定位數(shù)據(jù)來源,修復(fù)數(shù)據(jù)錯誤。那么數(shù)據(jù)治理團(tuán)隊需要知道業(yè)務(wù)團(tuán)隊的數(shù)據(jù)來自于哪個核心庫,核心庫的數(shù)據(jù)又來自于哪個數(shù)據(jù)源頭。我們的實踐是在元數(shù)據(jù)和數(shù)據(jù)資源清單之間建立關(guān)聯(lián)關(guān)系,且業(yè)務(wù)團(tuán)隊使用的數(shù)據(jù)項由元數(shù)據(jù)組合配置而來,這樣,就建立了數(shù)據(jù)使用場景與數(shù)據(jù)源頭之間的血緣關(guān)系。 數(shù)據(jù)資源目錄:數(shù)據(jù)資源目錄一般應(yīng)用于數(shù)據(jù)共享的場景,例如政府部門之間的數(shù)據(jù)共享,數(shù)據(jù)資源目錄是基于業(yè)務(wù)場景和行業(yè)規(guī)范而創(chuàng)建,同時依托于元數(shù)據(jù)和基礎(chǔ)庫主題而實現(xiàn)自動化的數(shù)據(jù)申請和使用。

質(zhì)量管理:數(shù)據(jù)價值的成功發(fā)掘必須依托于高質(zhì)量的數(shù)據(jù),唯有準(zhǔn)確、完整、一致的數(shù)據(jù)才有使用價值。因此,需要從多維度來分析數(shù)據(jù)的質(zhì)量,例如:偏移量、非空檢查、值域檢查、規(guī)范性檢查、重復(fù)性檢查、關(guān)聯(lián)關(guān)系檢查、離群值檢查、波動檢查等等。需要注意的是,優(yōu)秀的數(shù)據(jù)質(zhì)量模型的設(shè)計必須依賴于對業(yè)務(wù)的深刻理解,在技術(shù)上也推薦使用大數(shù)據(jù)相關(guān)技術(shù)來保障檢測性能和降低對業(yè)務(wù)系統(tǒng)的性能影響,例如 Hadoop,MapReduce,HBase 等。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)
立即申請數(shù)據(jù)分析/數(shù)據(jù)治理產(chǎn)品免費試用 我要試用
產(chǎn)品功能
平臺化

全面覆蓋數(shù)據(jù)治理9大領(lǐng)域,采用微服務(wù)架構(gòu),融合度高,延展性強(qiáng)

可視化

實現(xiàn)數(shù)據(jù)從創(chuàng)建到消亡全生命周期的可視化,也實現(xiàn)全角色的可視化

智能化

豐富的智能元素和功能,大大縮短數(shù)據(jù)管理周期、減少成本浪費

customer

在線咨詢

在線咨詢

點擊進(jìn)入在線咨詢