日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數(shù)據(jù)治理平臺(tái)

睿治作為國(guó)內(nèi)功能最全的數(shù)據(jù)治理產(chǎn)品之一,入選IDC企業(yè)數(shù)據(jù)治理實(shí)施部署指南。同時(shí),在IDC發(fā)布的《中國(guó)數(shù)據(jù)治理市場(chǎng)份額》報(bào)告中,連續(xù)四年蟬聯(lián)數(shù)據(jù)治理解決方案市場(chǎng)份額第一。

應(yīng)用系統(tǒng)的數(shù)據(jù)治理一些關(guān)注點(diǎn)

時(shí)間:2019-01-08來(lái)源:億信華辰瀏覽數(shù):900

?現(xiàn)在互聯(lián)網(wǎng)公司業(yè)務(wù)發(fā)展都是非常飛速,當(dāng)業(yè)務(wù)發(fā)展到一定規(guī)模,就得考慮如何去做服務(wù)治理,大家的重心一般放在微服務(wù)的應(yīng)用架構(gòu)設(shè)計(jì)層面,往往比較容易忽略關(guān)系數(shù)據(jù)庫(kù)的設(shè)計(jì)規(guī)劃。無(wú)論上層服務(wù)治理的如何,其實(shí)關(guān)系數(shù)據(jù)庫(kù)還是各個(gè)系統(tǒng)的基礎(chǔ)和核心,系統(tǒng)的穩(wěn)定性,高可用性,高性能是和數(shù)據(jù)庫(kù)有最直接的關(guān)系,所以服務(wù)治理的同時(shí)也需要同時(shí)考慮數(shù)據(jù)方面的相關(guān)規(guī)劃和實(shí)現(xiàn),但是只有基礎(chǔ)扎實(shí)了,上層服務(wù)才能更加穩(wěn)固,也才能飛的更高更快。

?1.設(shè)計(jì)規(guī)范

?對(duì)于數(shù)據(jù)庫(kù),表,字段,索引等的命名需要統(tǒng)一規(guī)范,方便dba的管理,提升開(kāi)發(fā)團(tuán)隊(duì)之間的溝通成本,最好是提供數(shù)據(jù)庫(kù)change log平臺(tái)來(lái)統(tǒng)一上線管理,這樣可以進(jìn)行審核和規(guī)范落地。數(shù)據(jù)庫(kù)索引設(shè)計(jì),數(shù)據(jù)庫(kù)的穩(wěn)定性,高可用性,高性能都和索引息息相關(guān),按照最左前綴原則來(lái)設(shè)計(jì),沒(méi)有把握時(shí),可以找dba進(jìn)行求助

?一定要給每個(gè)表設(shè)計(jì)主鍵,創(chuàng)建時(shí)間,修改時(shí)間字段,可以對(duì)數(shù)據(jù)修改的紀(jì)錄進(jìn)行跟蹤,也可以方便數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行增量數(shù)據(jù)拉取,創(chuàng)建時(shí)間/修改時(shí)間可以通過(guò)封裝DAO組件默認(rèn)設(shè)置值

?對(duì)于互聯(lián)網(wǎng)應(yīng)用,盡量遵守范式設(shè)計(jì)規(guī)范,但是冗余字段的設(shè)計(jì)也應(yīng)該適時(shí)考慮,如果兩個(gè)以上業(yè)務(wù)功能點(diǎn)需要同時(shí)join某3個(gè)表,建議設(shè)計(jì)冗余字段來(lái)解決

?數(shù)據(jù)庫(kù)設(shè)計(jì)的規(guī)范還有很多,就不一一例舉,最主要還是如何保證規(guī)范的施行。數(shù)據(jù)庫(kù)設(shè)計(jì)的規(guī)范很多公司都有,但是并沒(méi)有很好的實(shí)施,導(dǎo)致數(shù)據(jù)庫(kù)看起來(lái)還是非?;靵y,很多情況是缺少流程的管理和工具的輔助,一些硬性的規(guī)范就可以通過(guò)工具來(lái)控制,對(duì)于線上應(yīng)用的DDL發(fā)版都需要DBA進(jìn)行審核才能進(jìn)行。對(duì)于高頻或者數(shù)據(jù)量大的DML語(yǔ)句同樣需要DBA進(jìn)行審核才能發(fā)布更新。

?2.數(shù)據(jù)分域

?當(dāng)業(yè)務(wù)經(jīng)過(guò)野蠻增長(zhǎng),單一系統(tǒng)無(wú)法支撐業(yè)務(wù)時(shí),就需要進(jìn)行業(yè)務(wù)拆分,同樣也應(yīng)該進(jìn)行數(shù)據(jù)拆分,業(yè)務(wù)應(yīng)用和schema需要做到一一對(duì)應(yīng),并且進(jìn)行權(quán)限隔離,一個(gè)schema只能被一個(gè)應(yīng)用所有,所有對(duì)這個(gè)schema的數(shù)據(jù)的查詢(xún),新建,修改只能通過(guò)這個(gè)系統(tǒng)的接口來(lái)調(diào)用。公共數(shù)據(jù)服務(wù)統(tǒng)一管理,比如國(guó)家,城市,交易日歷,不能會(huì)產(chǎn)生有大量相同數(shù)據(jù)的表,造成數(shù)據(jù)重復(fù)隱患,這些數(shù)據(jù)保存時(shí)也盡量原子化,避免事后拆分

?數(shù)據(jù)指標(biāo)也要做到統(tǒng)一來(lái)源,如投資量,投資收益率,AUM,累積收益等統(tǒng)計(jì)指標(biāo),其他應(yīng)用應(yīng)該根據(jù)同一來(lái)源數(shù)據(jù)進(jìn)行業(yè)務(wù)邏輯處理,如果有不同來(lái)源或者每個(gè)系統(tǒng)自己計(jì)算的話,不但公司內(nèi)部容易混淆,而且很容易被用戶投訴

?復(fù)雜計(jì)算的業(yè)務(wù)盡量不要根據(jù)用戶的請(qǐng)求來(lái)做實(shí)時(shí)計(jì)算,比如互聯(lián)網(wǎng)金融網(wǎng)站的資產(chǎn)類(lèi),收益類(lèi)數(shù)據(jù),一般都需要跨越多個(gè)schema來(lái)獲取,金融產(chǎn)品形態(tài)越多,計(jì)算就越復(fù)雜。如果進(jìn)行實(shí)時(shí)計(jì)算的話,會(huì)很耗費(fèi)系統(tǒng)資源特別是數(shù)據(jù)庫(kù)資源,可以考慮由每個(gè)金融產(chǎn)品系統(tǒng)自身保存這個(gè)數(shù)據(jù),也就是每個(gè)用戶投資不同類(lèi)型的產(chǎn)品,都需要為這個(gè)用戶建立虛擬帳戶,這個(gè)賬戶可以維護(hù)用戶的資產(chǎn),收益等情況。另外一個(gè)思路時(shí)定義一個(gè)標(biāo)準(zhǔn)的消息,當(dāng)用戶的資產(chǎn),收益有變化時(shí),發(fā)送消息,由資產(chǎn)服務(wù)來(lái)統(tǒng)一處理這些消息,不過(guò)需要考慮消息的丟失,延時(shí)等情況,難度比較大。如果對(duì)數(shù)據(jù)的實(shí)時(shí)性要求不高的話,能夠線下大數(shù)據(jù)等方式來(lái)計(jì)算這些數(shù)據(jù)的話更好。

? 3 .開(kāi)發(fā)優(yōu)化

? 數(shù)據(jù)庫(kù)設(shè)計(jì)時(shí)不單要考慮業(yè)務(wù)的實(shí)現(xiàn),也要同時(shí)考慮代碼的性能,更勝者還需要考慮給其他的數(shù)據(jù)使用者(數(shù)據(jù)聚合/數(shù)據(jù)分析等)提供方便

?不要過(guò)度設(shè)計(jì),每個(gè)系統(tǒng)都會(huì)有些表的字段從來(lái)沒(méi)有值,可能是當(dāng)時(shí)預(yù)留字段,但是現(xiàn)在看來(lái),很多預(yù)留字段都是浪費(fèi)的,建議還是真正需要時(shí)再添加不遲

?無(wú)論是做數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)還是sql的編寫(xiě),都應(yīng)該控制復(fù)雜度,復(fù)雜的sql會(huì)導(dǎo)致數(shù)據(jù)庫(kù)load的沖高,當(dāng)PV上來(lái)時(shí),系統(tǒng)響應(yīng)變慢,然后系統(tǒng)請(qǐng)求堆積,嚴(yán)重的最后會(huì)導(dǎo)致整個(gè)系統(tǒng)完全無(wú)法提供服務(wù),所以每個(gè)開(kāi)發(fā)童鞋寫(xiě)sql時(shí)需要優(yōu)先考慮性能問(wèn)題,讓每條sql盡量簡(jiǎn)單,都能走到對(duì)的索引,通過(guò)應(yīng)用程序去解決復(fù)雜的sql邏輯查詢(xún)

?不要把所有數(shù)據(jù)都丟到數(shù)據(jù)庫(kù),特別是數(shù)據(jù)量大的日志型數(shù)據(jù)可以通過(guò)日志輸出,通過(guò)elk/flume+storm等方式拉取到es中進(jìn)行查詢(xún)跟蹤,如果硬是要保存到數(shù)據(jù)庫(kù),那只需要保存異常數(shù)據(jù)即可。用戶行為數(shù)據(jù)可以發(fā)送消息出去,由其他應(yīng)用來(lái)監(jiān)聽(tīng)消息并且保存到Redis/MongDB中,比如登陸相關(guān)數(shù)據(jù),投資行為等數(shù)據(jù),如果這些數(shù)據(jù)需要用來(lái)做業(yè)務(wù)流控,如現(xiàn)在登錄次數(shù)等業(yè)務(wù)場(chǎng)景,可以使用redis的數(shù)據(jù)過(guò)期機(jī)制來(lái)實(shí)現(xiàn)

?不要給用戶太大的空間進(jìn)行數(shù)據(jù)的輸入,盡量提供選擇框讓用戶選擇,防止臟數(shù)據(jù)的產(chǎn)生,關(guān)鍵字段要設(shè)置為必填,否則會(huì)給數(shù)據(jù)分析時(shí)的數(shù)據(jù)清洗帶來(lái)麻煩

?設(shè)計(jì)好表的UK,可以避免數(shù)據(jù)的重復(fù),也可以給接口的冪等性提供支持

?對(duì)于數(shù)據(jù)量大的業(yè)務(wù)處理建議使用異步化的方式來(lái)實(shí)現(xiàn),通過(guò)發(fā)送消息的方式進(jìn)行數(shù)據(jù)分片,然后可以對(duì)數(shù)據(jù)進(jìn)行分布式處理,提高數(shù)據(jù)處理速度

?對(duì)于大表,首先考慮數(shù)據(jù)庫(kù)的優(yōu)化,然后再考慮讀寫(xiě)分離,是否可以做分區(qū)表,數(shù)據(jù)歸檔來(lái)提升性能,最后才去考慮進(jìn)行分表分庫(kù)的設(shè)計(jì),分表分庫(kù)無(wú)論對(duì)于系統(tǒng)本身的設(shè)計(jì)開(kāi)發(fā)很難的把握,同時(shí)對(duì)于數(shù)據(jù)的使用者也是增加了復(fù)雜度

?對(duì)于緩存數(shù)據(jù)的使用,盡量不要緩存用戶唯度的數(shù)據(jù),這種類(lèi)型的數(shù)據(jù)不但給緩存服務(wù)器帶來(lái)壓力,更主要是緩存的命中率低,所以對(duì)于緩存的使用也是設(shè)計(jì)的關(guān)注點(diǎn),不要因?yàn)槟硞€(gè)緩存數(shù)據(jù)的暴增而拖垮整個(gè)緩存服務(wù)器

?隨著數(shù)據(jù)量的積累,有些數(shù)據(jù)過(guò)了其的生命周期,也就是說(shuō)這些數(shù)據(jù)變成了冷數(shù)據(jù),沒(méi)有系統(tǒng)需要再使用它了,那么我們就要定時(shí)的去做一些數(shù)據(jù)的歸檔,騰出數(shù)據(jù)庫(kù)資源給熱數(shù)據(jù)來(lái)使用

?涉及數(shù)據(jù)量大的更新,如某個(gè)表新增的非空字段等,建議分批進(jìn)行更新。分批不但為了數(shù)據(jù)庫(kù)的穩(wěn)定,防止引起數(shù)據(jù)庫(kù)的死鎖,同時(shí)也防止ETL工具拉取大量的更新數(shù)據(jù),因?yàn)楹芏鄨?bào)表需要依賴(lài)ETL同步完成數(shù)據(jù),如果ETL同時(shí)超時(shí)的話,很多定時(shí)報(bào)表會(huì)運(yùn)行失敗,有可能需要手工再次運(yùn)行報(bào)表任務(wù),所以進(jìn)行大數(shù)據(jù)量更新時(shí),一定要通知DBA和數(shù)據(jù)團(tuán)隊(duì)進(jìn)行跟蹤關(guān)注。

?4.數(shù)據(jù)監(jiān)控

?監(jiān)控是最后的守護(hù)者,可以及時(shí)的發(fā)現(xiàn)系統(tǒng)的性能問(wèn)題,對(duì)于數(shù)據(jù)庫(kù)來(lái)說(shuō),

?DBA可以通過(guò)數(shù)據(jù)庫(kù)的監(jiān)控工具來(lái)實(shí)時(shí)的對(duì)數(shù)據(jù)庫(kù)進(jìn)行監(jiān)控,對(duì)于核心表的數(shù)據(jù)量增長(zhǎng)趨勢(shì),核心表相關(guān)的sql查詢(xún)性能都需要進(jìn)行跟蹤。但是提前發(fā)現(xiàn)sql的性能問(wèn)題,進(jìn)行合適的預(yù)防則是開(kāi)發(fā)團(tuán)隊(duì)需要關(guān)注的。這就需要監(jiān)控中心對(duì)sql的運(yùn)行時(shí)間和次數(shù)等指標(biāo)進(jìn)行跟蹤和匯總,如果當(dāng)前沒(méi)有監(jiān)控中心,也可以使用DruidDatasource的statFilter功能進(jìn)行跟蹤,開(kāi)發(fā)團(tuán)隊(duì)需要定時(shí)的去關(guān)注sql運(yùn)行時(shí)間,運(yùn)行次數(shù)等指標(biāo),隨著業(yè)務(wù)量的增長(zhǎng),之前高性能的sql可能會(huì)變慢,高頻sql絕對(duì)不能出現(xiàn)在long sql的列表中,需要及時(shí)改造。還有就是緩存服務(wù)器的監(jiān)控也是需要關(guān)注的。


(部分內(nèi)容來(lái)源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)
立即申請(qǐng)數(shù)據(jù)分析/數(shù)據(jù)治理產(chǎn)品免費(fèi)試用 我要試用
產(chǎn)品功能
平臺(tái)化

全面覆蓋數(shù)據(jù)治理9大領(lǐng)域,采用微服務(wù)架構(gòu),融合度高,延展性強(qiáng)

可視化

實(shí)現(xiàn)數(shù)據(jù)從創(chuàng)建到消亡全生命周期的可視化,也實(shí)現(xiàn)全角色的可視化

智能化

豐富的智能元素和功能,大大縮短數(shù)據(jù)管理周期、減少成本浪費(fèi)

customer

在線咨詢(xún)

在線咨詢(xún)

點(diǎn)擊進(jìn)入在線咨詢(xún)