大數據相關體系梳理：今天小伙伴突然問我大數據都學習了些神馬？就有了如下的對話，我也決定為她好好解答一下疑問。so，我們今天主要是以離線數據處理的技術為主。

大家知道大數據是對海量數據的處理，對于這種海量的存儲一般就會用到分布式集群，然而分布式環境下常見的問題比如：集群管理、統一命名服務，信息配置管理，分布式鎖等就需要一個技術來處理，這個技術就是zookeeperzookeeper旨在在分布式應用中，提供可靠的、可擴展的、分布式的、可配置的協調機制來管理整個集群的狀態。他的特性有：數據一致性，原子性，可靠性，實時性，順序性，過半性。

Hadoop

Hadoop的集群系統為了解決Nutch的海量數據存儲和處理的需求，可以解決大數據場景下的數據存儲和處理的問題。一開始MapReduceNutch的兩個組件來使用，后來發現這兩個組件不只是可以用在Nutch搜索，所以就單獨取出來組成了HadoopMapReducehadoopyou：用于分布式文件的存儲，為了保證數據存儲的可靠性和讀取性能，對數據進行切塊后進行復制保證復本的數量并存儲在集群的多個節點中。中存在一個名字節點NameNode和多個數據節點DataNodeMapReduce：用于數據的計算，：進行任務調度。是Hadoop2.0出現的。數據塊（Block中存儲文件的最基本的存儲單位。

Flume

用于從不同的來源有效收集，聚集和移動大量的日志數據用以集中式管理的系統。用于從不同的來源有效收集，聚集和移動大量的日志數據用以集中式管理的系統。一條日志在flume中會被轉換成一個格式的串來傳遞，這個串就是一個FlumeEventFlume Agent是一個基本的日志收集單元，由Source Channel組成。多個Agent之間還可以連接形成復雜的日志流動的網絡。Source 是消耗外部傳遞給他的事件，外部源將數據按照Flume Source 能識別的格式將Flume事件發送給Flume Source，Channel是一個被動的存儲，用來保持事件，直到由一個Flume Sink消耗。Sink代表外部數據存放位置。發送flume中的事件到指定的外部目標。

在對數據處理的時候必須會編程，必須對的底層實現有深入理解，開發調試比較麻煩，能不能用一種更加通用的簡單的方式來實現對海量數據的處理，能不能用來實現對海量數據的處理 -- hive就是這樣的一個工具，hadoop的基礎上架設了一層操作的接口，使我們可以通過類 - hql - 語句翻譯成mapreduce來處理海量數據。所以，的底層仍然是MapReduce要是做一個翻譯的工作。Hive是基于Hadoop的數據倉庫工具所以Hive并不是一種數據庫。

HBase

Hadoop數據庫工具，是一種 NoSQL非關系型數據庫不符合關系型數據庫的范式，適合存儲非結構化的數據適合存儲稀疏的數據空的數據不占用空間提供實時的增刪改查的能力是一種真正的數據庫產品可以存儲海量數據性能非常優良可以實現上億條記錄的毫秒級別的查詢但是不支持嚴格的事務控制只能在行級別保證事務。HBase使用表來存儲數據但是表的結構和特點和傳統的關系型數據庫有非常大的區別。行鍵 - RowKey：就相當于是HBase表中的主鍵，HBase中的所有的表都要有行鍵，HBase中的所有的數據都要按照行鍵的字典順序排序后存儲，對HBase表中的數據的查詢只有三種方式：根據指定行鍵查詢、根據指定的行鍵范圍查詢、全表掃描查詢。

ColumnFamily

HBase表中垂直方向保存數據的結構，列族是HBase表的元數據的一部分，需要在定義HBase表時就指定好表具有哪些個列族，列族中可以包含一個或多個列。列 - ColumnHBase表中列族里可以包含一個或多個列，列并不是HBase表的元數據的一部分，不需要在創建表時預先定義，而是可以在后續使用表時隨時為表的列族動態的增加列。單元格和時間戳 -??Cell TimeStampHBase表中，水平方向的行垂直方向的列HBase中的一個存儲單元，而在這個存儲單元中，可以存儲數據，并且可以保存數據的多個版本，這些個版本之間通過時間戳來進行區分。單元格中的數據都以二進制形式存儲，沒有數據類型的區別。

Phoenix

HBase是一種非關系型的數據庫不滿足關系型數據庫的范式所以無法使用來進行操作，而PhoenixHBase基礎上架構的中間件，讓我們可以通過SQL/JDBCHBase。本質上就是在HBase表的基礎上，增加一定的限制，穩定表的結構，加入HBase命令的機制，從而實現了類HBase。親測不太好用，意見僅供參考。