日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

億信ABI

一站式數(shù)據(jù)分析平臺

ABI(ALL in one BI)是億信華辰歷經(jīng)19年匠心打造的國產(chǎn)化BI工具,技術(shù)自主可控。它打通從數(shù)據(jù)接入、到數(shù)據(jù)建模與處理、再到數(shù)據(jù)分析與挖掘整個數(shù)據(jù)應(yīng)用全鏈路,可滿足企業(yè)經(jīng)營中各類復雜的分析需求,幫助企業(yè)實現(xiàn)高效數(shù)字化轉(zhuǎn)型。

億信ABI

一站式數(shù)據(jù)分析平臺

億信華辰深耕商業(yè)智能十多年,
打造一體化的填報、處理、可視化平臺。

分布式數(shù)據(jù)庫系統(tǒng)的原理和結(jié)構(gòu)

時間:2020-04-16來源:知乎瀏覽數(shù):2269

分布式數(shù)據(jù)庫系統(tǒng)主要有兩種方式解決單機數(shù)據(jù)庫的低擴展能力:數(shù)據(jù)分片和讀寫分離。數(shù)據(jù)分片(Sharding)的原理就是將數(shù)據(jù)做水平切分,類似于hash分區(qū) 的原理,通過應(yīng)用架構(gòu)解決訪問路由和數(shù)據(jù)合并的問題。Sharding架構(gòu)的優(yōu)勢在于,集群擴展能力很強,幾乎可以做到線性擴展,而且整個集群的可用性也 很高,部分節(jié)點故障,不會影響其他節(jié)點提供服務(wù)。Sharding原理簡單,容易實現(xiàn),是一種非常好的解決數(shù)據(jù)庫擴展性的方案。但是Sharding對應(yīng) 用場景的要求很高,因為一旦使用數(shù)據(jù)分片架構(gòu),如果需要跨不同的節(jié)點做join,或者統(tǒng)計類型的操作,將會變得非常困難,應(yīng)該盡量避免。所以說 Sharding架構(gòu)會損失部分關(guān)系型數(shù)據(jù)庫的特性,比如join,從而使數(shù)據(jù)庫退化為Key-Value store類型的存儲。所以,并不是所有的應(yīng)用都適合做Sharding,它可能會造成應(yīng)用架構(gòu)復雜或者限制系統(tǒng)的功能,這也是它的缺陷所在。

讀寫分離架構(gòu)利用了數(shù)據(jù)庫的復制技術(shù),將讀和 寫分布在不同的處理節(jié)點上,從而達到提高可用性和擴展性的目的。最通常的做法是利用Replication技術(shù),Master DB承擔寫操作,將數(shù)據(jù)變化復制到多臺Slave DB上,并承擔讀的操作。這種架構(gòu)適合read-intensive類型的應(yīng)用,通過增加Slave DB的數(shù)量,讀的性能可以線性增長。為了避免Master DB的單點故障,集群一般都會采用兩臺Master DB做雙機熱備,所以整個集群的讀和寫的可用性都非常高。讀寫分離架構(gòu)的缺陷在于,不管是Master還是Slave,每個節(jié)點都必須保存完整的數(shù)據(jù),如 果在數(shù)據(jù)量很大的情況下,集群的擴展能力還是受限于單個節(jié)點的存儲能力,而且對于Write-intensive類型的應(yīng)用,讀寫分離架構(gòu)并不適合。

?

讀寫分離架構(gòu)應(yīng)用非常廣泛,很多網(wǎng)站都采用cache+DB的讀寫分離架構(gòu),通 過cache層來承載大量的讀訪問。Memcached是一種廣泛使用的Key-Value cache,它不具備持久化存儲的功能,所以它通常和數(shù)據(jù)庫一起組成讀寫分離的架構(gòu),由數(shù)據(jù)庫承載數(shù)據(jù)持久化存儲的功能,而Memcached則用來承載 大量的并發(fā)訪問。通常的做法是:應(yīng)用的讀請求會首先訪問Memcached,如果命中則返回,如果沒有命中,則會去數(shù)據(jù)庫中讀取,并將數(shù)據(jù)加載到 Memcached中。關(guān)于新增,修改和刪除操作,一般采用lazy load的策略,即新增時只寫入數(shù)據(jù)庫,并不會馬上更新Memcached,而是等到再次讀取時才會加載到Memcached中,修改和刪除操作也是更新 數(shù)據(jù)庫,然后將Memcached中的數(shù)據(jù)標記為失效,等待下次讀取時再加載。Memcached支持數(shù)據(jù)分區(qū),利用hash算法將數(shù)據(jù)分布到不同的服務(wù) 器,組成一個分布式的cache集群。

目前的分布式數(shù)據(jù)庫產(chǎn)品,絕大部分是面向DSS類型的應(yīng)用,因為相比較OLTP應(yīng)用,DSS應(yīng)用更容易做到分布式擴展,比如PetaBase,就很好的解決了可用性和擴展性的問題,并且提供了很強大的并行計算能力。從技術(shù)資料上來看,它有幾個特點:
1.采用Share nothing架構(gòu),將物理服務(wù)器劃分為以CPU core為單位的Virtual node,采用Sharding技術(shù),將數(shù)據(jù)自動分布到不同的Virtual node,最大限度的利用機器的計算資源;
2.采用內(nèi)存數(shù)據(jù)訪問技 術(shù),類似于內(nèi)存數(shù)據(jù)庫(In-memory database),區(qū)別于傳統(tǒng)的數(shù)據(jù)庫(Disk-based database),消除了傳統(tǒng)數(shù)據(jù)庫內(nèi)存管理的開銷,而且響應(yīng)速度非常快;
3.每個Virtual node上的操作是自治的,利用隊列技術(shù)將并發(fā)訪問變?yōu)榇性L問,消除了傳統(tǒng)數(shù)據(jù)庫串行控制的開銷(比如Latch和Lock);
4.數(shù)據(jù)同步寫 多個副本,不存在單點故障,而且消除了傳統(tǒng)數(shù)據(jù)庫需要記錄redo log的開銷。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)
立即申請數(shù)據(jù)分析/數(shù)據(jù)治理產(chǎn)品免費試用 我要試用
產(chǎn)品功能
數(shù)據(jù)填報

對分析表中的數(shù)據(jù)進行補錄或修改

數(shù)據(jù)處理

在可視化建模的同時同步完成ETL流程設(shè)計

大屏可視化

可任意制作酷炫靈動的圖標和大屏

自助式分析

只需簡單拖拽維度和指標即可生成相應(yīng)的分析圖表

預測挖掘

讓繁瑣復雜的數(shù)據(jù)挖掘過程變得簡單易用

customer

在線咨詢

在線咨詢

點擊進入在線咨詢