隨著網(wǎng)絡(luò)普及度的提升，以及互聯(lián)網(wǎng)行業(yè)的迅速發(fā)展，大家每天都會接收到數(shù)量龐大的信息，在這個信息爆炸的時代，如何管理這些數(shù)據(jù)，并從這些數(shù)據(jù)中提取有用的信息是首先要解決的問題，在這種背景下，大數(shù)據(jù)分析平臺的使用就很有意義了。那么如何搭建大數(shù)據(jù)分析平臺呢？
整體思路：明確業(yè)務(wù)場景需求，基于數(shù)據(jù)體量選定平臺框架和功能組件
在搭建大數(shù)據(jù)分析平臺前，用戶首先要明確自身的數(shù)據(jù)體量和業(yè)務(wù)場景需求，希望通過大數(shù)據(jù)分析平臺得到哪些信息，需要接入哪些數(shù)據(jù)，進行哪些主題分析，最終實現(xiàn)哪些功能。在明確大數(shù)據(jù)分析平臺需要具備的基本功能后，再決定平臺搭建過程中使用的大數(shù)據(jù)處理框架和工具，并將其有機結(jié)合以完成海量數(shù)據(jù)的挖掘和分析。在構(gòu)建大數(shù)據(jù)分析平臺時，首先要建設(shè)企業(yè)的基礎(chǔ)數(shù)據(jù)中心，構(gòu)建統(tǒng)一的數(shù)據(jù)存儲體系，統(tǒng)一數(shù)據(jù)建模。其次，集中組建數(shù)據(jù)處理中心，下沉數(shù)據(jù)處理能力，并通過統(tǒng)一的數(shù)據(jù)管理監(jiān)控體系，保障平臺系統(tǒng)的穩(wěn)定運行。最后，構(gòu)建數(shù)據(jù)應(yīng)用中心，統(tǒng)一輸出數(shù)據(jù)服務(wù)，滿足業(yè)務(wù)需求，體現(xiàn)數(shù)據(jù)價值。
能力建設(shè)：基于場景需求，選定分析指標(biāo)，通過模型訓(xùn)練構(gòu)建分析能力
大數(shù)據(jù)分析平臺的建設(shè)核心是分析能力的建設(shè)。不論用戶采用何種部署方式，數(shù)據(jù)分析能力的建設(shè)都萬變不離其宗。首先，根據(jù)業(yè)務(wù)場景需求選定指標(biāo)進行建模，重點建設(shè)數(shù)據(jù)構(gòu)造、合并和統(tǒng)計處理的運算能力。接著進行模型訓(xùn)練，從大量有噪聲的、不完全的、模糊和隨機的數(shù)據(jù)中挖掘多源多維數(shù)據(jù)間的關(guān)聯(lián)性。通過多維分析數(shù)據(jù)，加深對數(shù)據(jù)的理解，提取可能對業(yè)務(wù)結(jié)果相關(guān)的影響因子，探索數(shù)據(jù)的內(nèi)在規(guī)律特征，并尋找模型最佳參數(shù)，支撐分析模型對業(yè)務(wù)的定量和定性分析。在完成指標(biāo)建模、模型訓(xùn)練后，對滿足業(yè)務(wù)分析需求的模型進行部署調(diào)試，形成可被調(diào)用的服務(wù)能力，為其它業(yè)務(wù)系統(tǒng)、模型提供數(shù)據(jù)分析能力。此外，大數(shù)據(jù)分析平臺應(yīng)具備基礎(chǔ)框架功能，支持多廠家、多技術(shù)類型模型導(dǎo)入，提供對應(yīng)功能和工作流程設(shè)計，保障分析能力實施落地。
部署方式：依據(jù)行業(yè)特征、數(shù)據(jù)體量以及場景需要自由選擇部署方式
大數(shù)據(jù)分析平臺的部署方式主要分為本地化部署和云上部署。本地化部署根據(jù)用戶數(shù)據(jù)體量的大小，又可分為基于Hadoop生態(tài)的平臺搭建和“數(shù)據(jù)庫+AP分析引擎”的數(shù)倉方案。本地化部署的優(yōu)點是自主可控和靈活度高，缺點是性能調(diào)優(yōu)和運維復(fù)雜，自身技術(shù)能力要求和綜合成本高。云上部署以公有云廠商提供的“低成本存儲+彈性存算引擎”的數(shù)據(jù)湖方案為主，在保留HDFS集群分布式存儲可靠性和高吞吐能力的前提下，提供一站式云上PaaS能力，實現(xiàn)各類數(shù)據(jù)快速便捷入湖，用戶無需考慮兼容、安全、性能調(diào)優(yōu)以及運維。盡管國內(nèi)主流數(shù)據(jù)湖方案的底層存儲系統(tǒng)仍以Hadoop的分布式架構(gòu)構(gòu)建為主，但架構(gòu)上層擁有的讀寫優(yōu)化、內(nèi)存加速、數(shù)據(jù)融合等特性是云原生數(shù)據(jù)湖融合第三方開源組件的價值體現(xiàn)，是本地化部署的Hadoop方案所不具備的。
