日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數(shù)據(jù)治理平臺

睿治作為國內(nèi)功能最全的數(shù)據(jù)治理產(chǎn)品之一,入選IDC企業(yè)數(shù)據(jù)治理實施部署指南。同時,在IDC發(fā)布的《中國數(shù)據(jù)治理市場份額》報告中,連續(xù)四年蟬聯(lián)數(shù)據(jù)治理解決方案市場份額第一。

數(shù)據(jù)資產(chǎn)管理產(chǎn)品架構(gòu)規(guī)劃設(shè)計思路

時間:2022-05-10來源:有自己的憶瀏覽數(shù):470

資產(chǎn)是大數(shù)據(jù)的根基,前期業(yè)務(wù)發(fā)展追求短平快,留下的資產(chǎn)不規(guī)范不健全的坑未來還是要逐一去填平。

在數(shù)據(jù)產(chǎn)品經(jīng)理從業(yè)指南相關(guān)文章中講到,數(shù)據(jù)資產(chǎn)管理與治理是數(shù)據(jù)產(chǎn)品經(jīng)理的四大方向之一。近期在整理數(shù)據(jù)資產(chǎn)方向的產(chǎn)品工作規(guī)劃,順便分享一下,數(shù)據(jù)資產(chǎn)模塊到底在做哪些事情,也方便大家在未來找工作的時候判斷是不是可以去嘗試數(shù)據(jù)產(chǎn)品方向。

一、用戶是誰要解決什么問題?B端產(chǎn)品經(jīng)理工作方法論中,首要的一點就是搞清楚你的用戶是誰,他的訴求是什么,有哪些影響他工作效率的點,可以通過產(chǎn)品化的方式去解決。數(shù)據(jù)資產(chǎn)產(chǎn)品的用戶分為兩類,一是數(shù)據(jù)資產(chǎn)的生產(chǎn)者,二是資產(chǎn)的消費者。

1.資產(chǎn)生產(chǎn)者工作內(nèi)容及訴求這里的生產(chǎn)者指的是數(shù)據(jù)開發(fā)者,雖然“我們不生產(chǎn)數(shù)據(jù),我們只是數(shù)據(jù)的搬運工”,但是他們基于原始的rawdata經(jīng)過加工處理之后,生成資產(chǎn)化的數(shù)據(jù)。上圖是很多數(shù)據(jù)開發(fā)者的“愉快”的一天,也有人調(diào)侃說他們干著“出力不討好的臟活累活”,不出問題叫數(shù)據(jù)賦能,榮耀和光環(huán)都聚焦在應(yīng)用產(chǎn)品端,出了問題就是“數(shù)據(jù)質(zhì)量有問題”。“工欲善其事,必先利其器”,所以,作為數(shù)據(jù)資產(chǎn)產(chǎn)品經(jīng)理,給他們提供趁手的工具,可以高效快速的干活,幫助他們把自己的資產(chǎn)管理和治理好,才是對他們的一絲絲安慰。 開發(fā)數(shù)據(jù)的時候,ODS層、DWD層、APP層,臨時表,一堆的命名規(guī)范限制,記下來消耗CPU,記不住建模不規(guī)范事后被批還要整改。所以,能不能簡單點,開發(fā)的方式簡單點。 睡得正稥的時候報警電話什么的最惡心了,所以,任務(wù)調(diào)度運維的報警策略,失敗重試機制可以更AI一些么。即使非得人工處理,任務(wù)的一鍵通知、重跑能不能閉著眼睛就可以操作完接著睡覺了? 負責(zé)很多的數(shù)據(jù)模型,業(yè)務(wù)經(jīng)常來問數(shù)據(jù)在哪里,字段啥意思,可以不要來騷擾我嗎。所以,我想讓模型更多的被復(fù)用,但是最好自助去使用,我只想安靜去coding。 每次被老板指著鼻子說模型健康度差,哪個模型命名不規(guī)范,元數(shù)據(jù)缺失,任務(wù)耗時高,長時間沒人訪問。所以,可不可以提供個工作臺,就像農(nóng)民去田間看莊稼長啥樣要不要除草,讓我每天早上上班第一件事,把代辦清單的治理事項提前完成,下次老板直接周會表揚,我們要向XX同學(xué)學(xué)習(xí),開發(fā)習(xí)慣非常優(yōu)雅。 數(shù)據(jù)開發(fā)者除了自己不能刪庫跑路外,還需要對數(shù)據(jù)安全問題負責(zé),所以需要流程化、自動化的權(quán)限授權(quán)和審批管理流程。?

2.資產(chǎn)消費者的場景及訴求指使用數(shù)據(jù)的業(yè)務(wù)產(chǎn)品、運營、分析以及二次加工的數(shù)據(jù)開發(fā)人員。作為數(shù)據(jù)消費者,就像你去實體店或者電商平臺買東西,你希望能夠:找得到,看得見,放心用(買)。也就是說,在資產(chǎn)倉庫中,SKU覆蓋全面,并且規(guī)格參數(shù)、用法用量(元數(shù)據(jù))完備可見,幫助你決策是否是所需要的,除此之外,最好有一些客戶好評推薦或者官方認證的童叟無欺的證明,這樣才可以放心使用,不至于掉坑里。資產(chǎn)消費者的主要訴求包括: 當(dāng)我需要用數(shù)據(jù),但是不知道數(shù)據(jù)在哪的時候,可以有工具引導(dǎo)我,從產(chǎn)品線,到數(shù)據(jù)分類可以逐步縮小范圍,最終眾里尋他千百度,啊原來你在這里。所以,需要有地圖指引的能力。 新入職工作交接,前輩告訴我需要的數(shù)據(jù)都在這個表里,但是求知欲比較強的我,希望搞清楚數(shù)據(jù)的來龍去脈,以便舉一反三,而不是僅僅改個日期參數(shù)就查數(shù)據(jù)去了,所以需要便捷的數(shù)據(jù)檢索能力。 數(shù)據(jù)找到了,有沒有相關(guān)的認證,證明今天數(shù)據(jù)沒問題呢? 雖然內(nèi)心是拒絕騷擾數(shù)據(jù)開發(fā)者的,但是遇到邏輯不清楚,數(shù)據(jù)不確定的時候,還是想能夠找到負責(zé)人,或者其他使用過這張表墻裂推薦的人,去交流交流。 除了利用表進行SQL查詢或者拖拽分析外,現(xiàn)在不都提中臺嗎,所以,還希望有可以直接可以輸出的數(shù)據(jù)服務(wù),比如指標(biāo)API、標(biāo)簽服務(wù),可以通過界面化的配置就生成了接口,DAAS嘛(數(shù)據(jù)接口即服務(wù))。

?二、數(shù)據(jù)資產(chǎn)模塊的產(chǎn)品體系規(guī)劃設(shè)計明確了用戶及其訴求,接下來就是需要通過相應(yīng)的數(shù)據(jù)產(chǎn)品來為其賦能助力了。兩類用戶可能會有重合的場景,比如數(shù)據(jù)開發(fā)者也會作為數(shù)據(jù)消費者去使用別人開發(fā)的數(shù)據(jù),同樣,業(yè)務(wù)人員也可以自己去申請建表。所以,在資產(chǎn)產(chǎn)品架構(gòu)設(shè)計上,主要圍繞數(shù)據(jù)的匯聚、加工處理、資產(chǎn)管理、數(shù)據(jù)治理、價值輸出等環(huán)節(jié)進行覆蓋。1.數(shù)據(jù)匯聚主要解決異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)傳輸問題,數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫、產(chǎn)品端埋點采集或者其他第三方的API接口、FTP文件互傳,需要提供簡單通用的數(shù)據(jù)集成能力,方便把數(shù)據(jù)統(tǒng)一匯聚到中央數(shù)倉。在產(chǎn)品功能設(shè)計時,不同的源、和目標(biāo)之間所需要的參數(shù)配置是差異化的,逐個對接解決即可。另外,數(shù)據(jù)需要每天或者實時的進行同步消費,所以需要和調(diào)度系統(tǒng)結(jié)合,提供智能化自動化的資源調(diào)度和任務(wù)運維能力。所以,很多數(shù)據(jù)產(chǎn)品是把數(shù)據(jù)集成作為一種數(shù)據(jù)開發(fā)任務(wù)類型,整合在數(shù)據(jù)開發(fā)套件產(chǎn)品之中。

2.數(shù)據(jù)加工處理在這個環(huán)節(jié)主要是基于業(yè)務(wù)對數(shù)據(jù)使用場景進行數(shù)據(jù)清洗和邏輯處理,包括離線數(shù)據(jù)開發(fā)和實時數(shù)據(jù)開發(fā),相當(dāng)于是數(shù)據(jù)的加工廠,基于同步過來的數(shù)據(jù)源進行加工,形成高可用的數(shù)據(jù)模型。開發(fā)套件比較大,可以獨立成單獨的產(chǎn)品模塊。同時,可以將模型建設(shè)規(guī)范融入到任務(wù)開發(fā)的校驗流程中。多些事前校驗,而不是僅僅依靠事后治理。例如提供dataphin之類的流程化建模或數(shù)據(jù)加工工具3.數(shù)據(jù)資產(chǎn)化管理資產(chǎn)化管理:數(shù)據(jù)工廠加工好的數(shù)據(jù),還需要進行分門別類的規(guī)整,貼上各種規(guī)格標(biāo)簽,才能給到下游消費者使用。資產(chǎn)化管理主要通過數(shù)據(jù)地圖進行數(shù)據(jù)表查詢檢索,元數(shù)據(jù)信息維護查詢,為使用者提供方便的數(shù)據(jù)指引能力。

數(shù)據(jù)血緣:是貫通數(shù)據(jù)從入湖到業(yè)務(wù)終端全流程的數(shù)據(jù)鏈路關(guān)系,一是可以方便排查數(shù)據(jù)生產(chǎn)過程的來龍去脈,為翻代碼查邏輯提供指引。此外,基于血緣可以做到數(shù)據(jù)異常時的下游通知,以及下游應(yīng)用無人使用時,數(shù)據(jù)一鍵治理,存儲計算資源釋放。

數(shù)據(jù)質(zhì)量監(jiān)控針對任務(wù)執(zhí)行的結(jié)果準(zhǔn)確性進行監(jiān)控,提前發(fā)現(xiàn)因為源端數(shù)據(jù)庫變更、開發(fā)Bug等問題引發(fā)的數(shù)據(jù)不準(zhǔn)等問題。

數(shù)據(jù)治理:從任務(wù)資源消耗、時間消耗、業(yè)務(wù)使用(冷熱數(shù)據(jù))、開發(fā)規(guī)范、模型覆蓋度復(fù)用度等不同維度建立資產(chǎn)健康度評估指標(biāo)體系,以及數(shù)據(jù)治理工作臺,每天上班就可以知道有哪些坑要填,提前把自己埋了。

4.數(shù)據(jù)價值輸出搞大數(shù)據(jù)最終是為了數(shù)據(jù)能夠產(chǎn)生價值,一是基于數(shù)據(jù)的決策,二是數(shù)據(jù)驅(qū)動的產(chǎn)品智能化、運營精細化。SQL即席查詢是基于數(shù)據(jù)模型的SQL取數(shù),自助分析則是通過傻瓜式拖拽方式服務(wù)于無SQL能力的業(yè)務(wù)人員。在這個環(huán)節(jié)和資產(chǎn)關(guān)系密切的就是指標(biāo)管理、標(biāo)簽資產(chǎn)管理,通過數(shù)據(jù)API方式,最終將數(shù)據(jù)輸出給到前端的可視化分析產(chǎn)品或者產(chǎn)品、運營主流程的接入應(yīng)用。

5.數(shù)據(jù)安全管理數(shù)據(jù)庫、數(shù)據(jù)表、指標(biāo)及標(biāo)簽的元數(shù)據(jù)可以公開查閱,但真正要取數(shù)使用,必須先獲取對應(yīng)的授權(quán),因此需要提供一鍵權(quán)限申請、審批消息通知、授權(quán)后應(yīng)用自動賦權(quán)等全流程的自動化產(chǎn)品設(shè)計。三、總結(jié)數(shù)據(jù)資產(chǎn)是大數(shù)據(jù)的根基,前期業(yè)務(wù)發(fā)展追求短平快,留下的資產(chǎn)不規(guī)范不健全的坑未來還是要逐一去填平。數(shù)字化轉(zhuǎn)型首先要解決的也是數(shù)據(jù)匯聚和數(shù)據(jù)資產(chǎn)等問題。數(shù)據(jù)資產(chǎn)模塊相關(guān)的產(chǎn)品經(jīng)理,不僅要具備良好的產(chǎn)品通用能力,同時需要對大數(shù)據(jù)生態(tài)、數(shù)據(jù)流轉(zhuǎn)流程、數(shù)倉建設(shè)等理論有良好的認知,這樣做起產(chǎn)品才能更加游刃有余。但萬變不離其宗,數(shù)據(jù)的采存管用流程涉及的數(shù)據(jù)產(chǎn)品模塊,各家公司也都大同小異。

<END>


(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)
立即申請數(shù)據(jù)分析/數(shù)據(jù)治理產(chǎn)品免費試用 我要試用
customer

在線咨詢

在線咨詢

點擊進入在線咨詢