一、大數(shù)據(jù)與大數(shù)據(jù)平臺
大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
大數(shù)據(jù)平臺是為了計(jì)算，現(xiàn)今社會所產(chǎn)生的越來越大的數(shù)據(jù)量。以存儲、運(yùn)算、展現(xiàn)作為目的的平臺。是允許開發(fā)者們或是將寫好的程序放在“云”里運(yùn)行，或是使用“云”里提供的服務(wù)，或二者皆是。
二、大數(shù)據(jù)平臺的功能
1、速度快
結(jié)合列式數(shù)據(jù)庫架構(gòu)(相對于基于行的非并行處理傳統(tǒng)數(shù)據(jù)庫)和使用大規(guī)模并行處理技術(shù)，不僅能夠大幅提高性能(通常約100到1000倍)，還可以實(shí)現(xiàn)更低且更透明的定價機(jī)制。
2、容納海量數(shù)據(jù)
利用計(jì)算機(jī)群集的存儲和計(jì)算能力。不僅在性能上有所擴(kuò)展，而且其處理傳入的大量數(shù)據(jù)流的能力也相應(yīng)提高。
3、利用Hadoop
Hadoop已成為大數(shù)據(jù)領(lǐng)域中的主要平臺。利用Hadoop作為用于持久性和輕量型數(shù)據(jù)管理的高效益平臺。
4、兼容傳統(tǒng)工具
確保平臺已經(jīng)過認(rèn)證，可以兼容傳統(tǒng)工具。
5、提供數(shù)據(jù)分析功能
確保大數(shù)據(jù)平臺不僅支持在數(shù)秒鐘內(nèi)準(zhǔn)備并加載數(shù)據(jù)，還支持利用高級算法建立預(yù)測模型，輕松部署模型以進(jìn)行數(shù)據(jù)庫內(nèi)計(jì)分。同時使數(shù)據(jù)科學(xué)家能夠使用現(xiàn)有統(tǒng)計(jì)軟件包和首選語言。
6、為數(shù)據(jù)科學(xué)家提供支持
數(shù)據(jù)科學(xué)家在企業(yè)IT中擁有著更高的影響力和重要性，快速、高效、易于使用和廣泛部署的大數(shù)據(jù)平臺可以幫助拉近商業(yè)人士和技術(shù)專家之間的距離。
三、大數(shù)據(jù)平臺的結(jié)構(gòu)
1、數(shù)據(jù)收集層
底層就是各種數(shù)據(jù)源，主要是對企業(yè)底層數(shù)據(jù)的收集和解析，將零散的數(shù)據(jù)整合起來，包含企業(yè)的核心事務(wù)數(shù)據(jù)、用戶數(shù)據(jù)、日志數(shù)據(jù)、集團(tuán)數(shù)據(jù)等等，一般有傳統(tǒng)的ETL離線收集和實(shí)時收集兩種方式。
2、數(shù)據(jù)貯存和處理層
有了數(shù)據(jù)底層的數(shù)據(jù)，然后依據(jù)需求和場景的不同進(jìn)行數(shù)據(jù)預(yù)處理，貯存到一個合適的持久化貯存層中。
3、數(shù)據(jù)剖析層
這里就要用到BI剖析體系。
4、數(shù)據(jù)使用層
依據(jù)事務(wù)需求不同劃分出不同類別的使用，主要是對最終的數(shù)據(jù)進(jìn)行展現(xiàn)和可視化。
四、大數(shù)據(jù)與大數(shù)據(jù)平臺的應(yīng)用
首先我們要有數(shù)據(jù)源，然后對數(shù)據(jù)進(jìn)行收集和存儲，在這基礎(chǔ)上，再進(jìn)行分析和應(yīng)用，形成我們的產(chǎn)品和服務(wù)，而產(chǎn)品和服務(wù)也會產(chǎn)生新的數(shù)據(jù)，這些數(shù)據(jù)會循環(huán)進(jìn)入我們的流程中。當(dāng)這個循環(huán)體系成為一個智能化的體系，便會成為一種新的模式，然后具體運(yùn)用到實(shí)際的應(yīng)用中，一種是精準(zhǔn)化定制，二是預(yù)測。
1、精準(zhǔn)化定制
第一種是精準(zhǔn)營銷，現(xiàn)在已經(jīng)比較常見的互聯(lián)網(wǎng)營銷，網(wǎng)頁的推廣等，或者是基于地理位置的信息推送，當(dāng)我到達(dá)某個地方，會自動推送周邊的消費(fèi)設(shè)施等；
第二種是選址定位，包括零售店面的選址，或者是公共基礎(chǔ)設(shè)施的選址；
第三種是個性化產(chǎn)品，比如智能化的搜索引擎搜索同樣的內(nèi)容，每個人的結(jié)果都不同，或者是一些定制化的新聞服務(wù)，或者是網(wǎng)游等。
這些全都是通過大數(shù)據(jù)平臺對用戶需求的
大數(shù)據(jù)分析，然后提供相對定制化的服務(wù)。
2、預(yù)測類應(yīng)用
第一類是風(fēng)險(xiǎn)預(yù)警類的，比如疫情預(yù)測，日常健康管理的疾病預(yù)測，設(shè)備實(shí)施的運(yùn)營維護(hù)，公共安全，以及金融行業(yè)的信用風(fēng)險(xiǎn)管理等；
第二類是實(shí)時優(yōu)化類的，比如智能線路規(guī)劃，實(shí)時定價等；
第三類是支持類的，小到企業(yè)的運(yùn)營決策，證券投資決策，醫(yī)療行業(yè)的臨床診療支持，以及電子政務(wù)等。
