大數據技術是指從各種各樣類型的巨量數據中，快速獲得有價值信息的技術。解決大數據問題的核心是大數據技術。大數據(Big Data)或稱海量數據，指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具，在合理時間內達到采集、管理、處理、并整理成為幫助企業經營決策更積極目的的數據。大數據分析相比于傳統的數據倉庫應用，具有數據量大、查詢分析復雜等特點。

在進行大數據分析時要明白分析什么數據，大數據要分析的數據類型主要有四大類：
1 交易數據
大數據平臺能夠獲取時間跨度更大、更海量的結構化交易數據，這樣就可以對更廣泛的交易數據類型進行分析，不僅僅包括POS或電子商務購物數據，還包括行為交易數據，例如Web服務器記錄的互聯網點擊流數據日志。

2 人為數據（行為數據）
非結構數據廣泛存在于電子郵件、文檔、圖片、音頻、視頻，以及通過博客、維基，尤其是社交媒體產生的數據流。這些數據為使用文本分析功能進行分析提供了豐富的數據源泉。

3 移動數據
能夠上網的智能手機和平板越來越普遍。這些移動設備上的App都能夠追蹤和溝通無數事件，從App內的交易數據(如搜索產品的記錄事件)到個人信息資料或狀態報告事件(如地點變更即報告一個新的地理編碼)。

4 IoT數據
這包括功能設備創建或生成的數據，例如智能電表、智能溫度控制器、工廠機器和連接互聯網的家用電器。這些設備可以配置為與互聯網絡中的其他節點通信，還可以自動向中央服務器傳輸數據，這樣就可以對數據進行分析。機器和傳感器數據是來自新興的物聯網(IoT)所產生的主要例子。來自物聯網的數據可以用于構建分析模型，連續監測預測性行為(如當傳感器值表示有問題時進行識別)，提供規定的指令(如警示技術人員在真正出問題之前檢查設備)。

一對于大數據分析工具的要求
通過上述介紹，我們理清了需要進行分析的大數據類型，為此我們需要選擇一些數據分析工具進行分析，根據企業業務場景，我們如何選用數據分析工具才能符合企業大數據分析的要求，數據分析工具達到哪些要求和目的?
能應用高級的分析算法和模型提供分析
以大數據平臺為引擎，比如Hadoop或其他高性能分析系統
能夠適用于多種數據源的結構化和非結構化數據
隨著用于分析模型的數據的增加，能夠實現擴展
集成分析模型的數據可視化工具
能夠和其他應用技術進行集成

除上述基本要求之外，數據分析工具還必須包含必備的一些功能，包括集成算法和支持數據挖掘技術，包括(但不限于)：

1.集群和細分：
把一個大的實體分割擁有共同特征的小團體。比如分析收集來的客戶，確定更細分的目標市場。

2.分類
把數據組織進預定類別。比如根據細分模型決定客戶改如何進行分類。

3.恢復
用于恢復從屬變量和一個及一個以上獨立變量之間的關系，幫助決定從屬變量如何根據獨立變量的變化而變化。比如使用地理數據、凈收入、夏日平均溫度和占地面積預測財產的未來走向。

4.聯合和項目集挖掘
在大數據集中尋找變量之間的相關關系。比如它可以幫助呼叫中心代表提供基于呼叫者客戶細分、關系和投訴類型的更精準的信息。

5.相似性和聯系
用于非直接的集群算法。相似性積分算法可用于決定備用集群中實體的相似性。

6.神經網絡
用于機器學習的非直接分析。

二通過數據分析工具了解不同角色用戶的需求

1.從數據科學家們的角度上看，他們想使用更復雜的數據類型實現更復雜的分析，熟知如何設計，如何應用基礎模型來評估內在傾向性或偏差。

2.從業務分析師的角度上看，他們更像是隨性的用戶，想要用數據來實現主動數據發現，或者實現現有信息和部分預測分析的可視化。

3.從企業管理者角度上看，他們想要了解數據模型和結論，通過數據分析能夠為企業帶來什么樣的價值體現。

4.從IT開發人員角度上看，他們為以上所有的用戶角色提供具體可以落地實施的方案，并通過編碼實現相應的數據模型，向各個角色提供數據可視化應用實現，并提供技術支持。

三如何選擇最適合的大數據分析軟件

分析師的專業知識和技能
數據分析工具的目標受眾根據不同級別的用戶有不同的工具集，針對初級數據分析師來說，常用的數據分析工具有Excel、SPSS、SAS、PowerBI等，針對中級數據分析師來說，常用的數據分析工具有Matlab、Weka、Tableau、Gephi等，針對專業數據分析師，常用的數據分析工具有基于分析式計算框架Hadoop、Spark、Storm等通過一定的代碼實現或者通過自然語言處理（NLP）實現的數據分析。

分析多樣性
根據不同的用戶案例和應用，企業用戶可能需要支持不同類型的分析功能，使用特定類型的建模(例如回歸、聚類、分割、行為建模和決策樹)。這些功能已經能夠廣泛支持高水平、不同形式的分析建模，但是還是有一些廠商投入數十年的精力，調整不同版本的算法，增加更加高級的功能。理解哪些模型與企業面臨的問題最相關，根據產品如何最好地滿足用戶的業務需求進行產品評估，這些都非常重要。

數據范圍分析
要分析的數據范圍涉及很多方面，如結構化和非結構化信息，傳統的本地數據庫和數據倉庫、基于云端的數據源，大數據平臺(如Hadoop)上的數據管理等。但是，不同產品對非傳統數據湖(在Hadoop內或其他用于提供橫向擴展的NoSQL數據管理系統內)上的數據管理提供的支持程度不一。如何選擇產品，企業必須考慮獲取和處理數據量及數據種類的特定需求。

團隊協作
企業規模越大，越有可能需要跨部門、在諸多分析師之間分享分析、模型和應用。企業如果有很多分析師分布在各部門，對結果如何進行解釋和分析，可能會需要增加更多的共享模型和協作的方法。

許可證書和維護預算
幾乎所有廠商的產品都分不同的版本，購買費用和整個運營成本各不相同。許可證書費用與特性、功能、對分析數據的量或者產品可使用的節點數的限制成正比。

易用性
沒有統計背景的商業分析師或數據分析師是否也能夠通過數據分析工具輕松地開發分析和應用呢?確定產品是否提供了方便開發和分析的可視化方法。

非結構化數據使用率
確認產品能夠使用不同類型的非結構化數據(文檔、電子郵件、圖像、視頻、演示文稿、社交媒體渠道信息等)，并且能夠解析和利用收到的信息。

可擴展性和可伸縮性

隨著數據量的不斷增長和數據管理平臺的不斷擴展，要評估不同的分析產品如何跟隨處理與存儲容量的增長而增長。