1大數(shù)據(jù)時代面臨的挑戰(zhàn)

5G的大潮為互聯(lián)網(wǎng)帶來更多的發(fā)展機遇。隨著資費下降，帶寬的增加，語音視頻等流量的增長以及物聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)的數(shù)據(jù)更加多元化。更多數(shù)據(jù)通過各種新型終端被生產(chǎn)出來，特別是物聯(lián)網(wǎng)終端自動生產(chǎn)的數(shù)據(jù)，通過網(wǎng)絡(luò)匯集到數(shù)據(jù)中心，人類正在進入一個信息大爆炸的時代。

隨著各地大數(shù)據(jù)中心的建立，越來越多海量、多源、異構(gòu)的數(shù)據(jù)被采集和匯聚，如何盡可能地把分散的數(shù)據(jù)進行融合共享，并且充分挖掘其中的應用價值，已成為當下大數(shù)據(jù)治理需要面臨的重大挑戰(zhàn)。

與此同時，隱私保護、數(shù)據(jù)安全也成為政府和個人日益重視的問題，在享受數(shù)據(jù)為我們帶來便利的同時，安全、可信、合規(guī)地使用數(shù)據(jù)資源也是我們必須要面對的重要課題。

銳安最新一代Ayena大數(shù)據(jù)智能化解決方案的架構(gòu)，是通過采集感知體系（Percept）來獲取數(shù)據(jù)并接入到Ayena大數(shù)據(jù)平臺。通過基于零信任思想的安全保障體系（ZeroTrust）來解決數(shù)據(jù)的安全問題，以數(shù)據(jù)為重心、以身份為邊界、以行為定規(guī)則，構(gòu)建縱深防御體系。這兩個方面就構(gòu)成了大數(shù)據(jù)平臺的“采”和“管”。同時，在體系的中間，是對大數(shù)據(jù)進行處理的云平臺架構(gòu)，其由IPDS四層組成，IaaS、PaaS主要依托于銳安的生態(tài)伙伴的能力來提供，中間的DaaS主要解決數(shù)據(jù)的“治理”問題，也就是Ayena大數(shù)據(jù)平臺。

圖一：Ayena智能化大數(shù)據(jù)解決方案架構(gòu)

Ayena取自佛教第八識阿賴耶識的諧音，是將眼、耳、鼻、舌、身、意、意根跟前七識所感知的數(shù)據(jù)提煉保存，代表無所不包的知識。銳安Ayena大數(shù)據(jù)平臺經(jīng)過多年的發(fā)展之后，現(xiàn)在已經(jīng)形成完備的產(chǎn)品體系，包含了智能數(shù)據(jù)集成（AyenaStream）、智能組織存儲（AyenaLake）、智能分析挖掘（AyenaRefine）、精細化數(shù)據(jù)治理（AyenaWeir）四大子產(chǎn)品。其中，AyenaStream是數(shù)據(jù)的智能集成，它將采集的數(shù)據(jù)，通過數(shù)據(jù)流的方式進行標準化處理，把數(shù)據(jù)加工成信息。整個過程就像涓涓細流匯入湖海，將各個渠道來源的數(shù)據(jù)匯聚到數(shù)據(jù)湖AyenaLake當中，它是基于一種智能數(shù)據(jù)組織、存儲以及服務的數(shù)據(jù)中臺架構(gòu)。數(shù)據(jù)在湖中不能是孤立和靜止的，所以需要通過AyenaRefine進行充分的智能分析、挖掘，之后數(shù)據(jù)湖當中的湖水就更加清澈，更好地服務不同使用場景。而整個的數(shù)據(jù)處理和分析挖掘的過程并不是雜亂無章的，需要通過精細化的“水利工程”即AyenaWeir對湖水進行疏導，對它的全過程進行控制，對它的數(shù)據(jù)處理的質(zhì)量和運行的狀態(tài)進行監(jiān)控，Weir的意思是堤堰而非水壩，它的目的不是要堵住數(shù)據(jù)的水流，而且要更好地疏導湖水的流向。

在Ayena之上是SaaS層，Ayena對萬事萬物進行了全面的刻畫和了解，形成豐富的知識，SaaS層以此解決實際工作中遇到的各種問題，這種運用知識解決問題的能力就是智慧，我們稱之為般若，也就是Prajna。在這一層通過搜索、檔案、關(guān)系分析、時空分析、行為分析等一系列應用服務構(gòu)成基于數(shù)據(jù)感知和數(shù)據(jù)治理的智能應用體系。

所以說，銳安科技聚焦的主要產(chǎn)品體系所解決的問題，就是覆蓋了大數(shù)據(jù)的“采”、“治”、“用”、“管”四個方面，始終致力于“讓信息更有價值”。而周邊包括生態(tài)的感知和云計算產(chǎn)品可為整個體系提供助力，共同致力于打造行業(yè)內(nèi)最優(yōu)的智能化大數(shù)據(jù)解決方案。

Ayena最核心的設(shè)計思想就是讓數(shù)據(jù)治理體系像人類一樣去學習和思考。人類對世界的認識過程，是將采集感知的數(shù)據(jù)在大腦中加工成信息，再通過歸納和演繹的方法，在大腦中循環(huán)往復的學習，把信息變成知識，利用知識進行推理決策，最終成為智慧。

Ayena大數(shù)據(jù)體系，將原始庫、資源庫、主題庫、知識庫按照數(shù)據(jù)總量逐層降低、價值密度逐層提高的方式進行組織，通過分類分級的方式對數(shù)據(jù)進行縱向切片，構(gòu)造出多維度立體化的大數(shù)據(jù)資源金字塔。

通過將不同來源、類型、結(jié)構(gòu)的海量數(shù)據(jù)接入、提取、清洗，使數(shù)據(jù)全面融合；

通過全生命周期的數(shù)據(jù)處理，運用系統(tǒng)中已有的一般性知識，以演繹的方法使信息螺旋生長，轉(zhuǎn)化為個別性知識，構(gòu)造行業(yè)知識圖譜；

通過分類、聚類等數(shù)據(jù)挖掘手段，以歸納的方法學習、獲取一般性知識，再將這些知識運用到數(shù)據(jù)處理中，彼此循環(huán)遞進，實現(xiàn)數(shù)據(jù)治理體系的自我進化；

最后，利用知識提供智慧化的應用，并通過對應用反饋的學習，進一步提升大數(shù)據(jù)治理體系的智能化水平。

在整個過程中，治理體系是由Percept產(chǎn)品和Ayena體系來支撐的，其中的數(shù)據(jù)處理引擎就是AyenaStream，數(shù)據(jù)挖掘引擎就是AyenaRefine，形成大數(shù)據(jù)資源的多維金字塔就是AyenaLake，而智能應用體系是由Prajna產(chǎn)品來支撐的。整個從數(shù)據(jù)到信息，從信息到知識，從知識到智慧的過程是由AyenaWeir產(chǎn)品來引導和監(jiān)督的。

以上是銳安科技大數(shù)據(jù)感知與數(shù)據(jù)治理以及生態(tài)合作的基本理念。下面再詳細介紹下銳安科技在這方面的具體實踐思路。

1）大數(shù)據(jù)的“采”——數(shù)據(jù)采集感知（Percept）

目前，大數(shù)據(jù)面臨的問題往往是對數(shù)據(jù)的識別和有效分析的手段比較單一，而且依賴的是以往的知識，依賴于用規(guī)則來對數(shù)據(jù)進行分析，傳統(tǒng)的方法是對業(yè)務端口與DPI的流量分析和業(yè)務識別，這些方法很容易受制于對知識認識的滯后性，從而會導致很多新的應用無法被識別。同時，對特征庫要進行長期的人工維護和更新，不但費時費力，而且對一些新的知識也無法快速去學習。銳安科技最新一代的數(shù)據(jù)采集產(chǎn)品（Percept），面對的是快速增長的未知網(wǎng)絡(luò)流量，基于機器學習、神經(jīng)網(wǎng)絡(luò)以及其它高級分析技術(shù)，通過兼顧網(wǎng)絡(luò)的流量、連接及對象進行識別，構(gòu)造出網(wǎng)絡(luò)行為特征、模型庫（基于模型來對網(wǎng)絡(luò)信息當中所存在的數(shù)據(jù)的特征來進行識別），這樣就能在數(shù)據(jù)當中發(fā)現(xiàn)有效的信息，并且通過人工智能、多媒體處理及自然語言處理的方法去解析一些非結(jié)構(gòu)化的數(shù)據(jù)特征，通過這些方法從未知領(lǐng)域發(fā)現(xiàn)更多過去無法分析出來的數(shù)據(jù)。另外，從端口、業(yè)務、模型的級別去識別出不同的協(xié)議類型，將不同的協(xié)議數(shù)據(jù)分流到不同的應用當中去使用，使得不同的應用可以獲取到最需要的信息和知識，有效解決了大數(shù)據(jù)所要解決的數(shù)據(jù)采集有效性問題。

2）大數(shù)據(jù)的“治”——數(shù)據(jù)融合治理（Ayena）

銳安科技的數(shù)據(jù)治理全過程包含數(shù)據(jù)接入、處理、組織、分析挖掘、知識圖譜構(gòu)建以及數(shù)據(jù)服務等環(huán)節(jié)。

數(shù)據(jù)的接入主要包括定義數(shù)據(jù)全生命周期的治理策略和實現(xiàn)對多源異構(gòu)數(shù)據(jù)的統(tǒng)一接入；

數(shù)據(jù)處理環(huán)節(jié)是應用平臺知識庫里面的知識，對于一些結(jié)構(gòu)化的數(shù)據(jù)以及文本、語音、圖像、視頻等多媒體數(shù)據(jù)進行標準化處理，為數(shù)據(jù)的分析和挖掘做好準備；

數(shù)據(jù)組織根據(jù)數(shù)據(jù)應用的需求和定義好的策略，實現(xiàn)數(shù)據(jù)資源分級分類的構(gòu)建，形成不同用途的數(shù)據(jù)資源庫；

數(shù)據(jù)挖掘是利用模型、對象化、標簽化等手段，對數(shù)據(jù)進行離線的智能化分析，實現(xiàn)對數(shù)據(jù)的深度挖掘，使數(shù)據(jù)價值密度提升。在精細化的數(shù)據(jù)治理過程當中，銳安科技通過對數(shù)據(jù)資產(chǎn)全面的把握和數(shù)據(jù)治理全流程的控制以及數(shù)據(jù)運維的安全保障，使得數(shù)據(jù)可以穩(wěn)定、高效地進行處理和挖掘。

3）大數(shù)據(jù)的“用”——數(shù)據(jù)智能應用（Prajna）

數(shù)據(jù)的智能應用重點體現(xiàn)為應用者所提供的應用服務。銳安科技在構(gòu)建完整的大數(shù)據(jù)體系之后，把數(shù)據(jù)進行充分的整合，可以將數(shù)據(jù)進行充分的融合和治理，形成有效的知識。而這些知識如何去使用，Prajna則提供了一系列的工具，比如通過使用眾創(chuàng)共享去實現(xiàn)智能進化，充分發(fā)揮大數(shù)據(jù)平臺體系的能力，幫助開發(fā)者快速的構(gòu)建應用。整個體系是由眾創(chuàng)環(huán)境和共享環(huán)境來構(gòu)成的，其中由模型工廠和應用工廠組成眾創(chuàng)環(huán)境，應用開發(fā)者可以使用平臺體系提供的一系列CBB（Common Building Block）組件以及通用的算法和模型，快速搭建出業(yè)務所需要的模型和應用；同時通過平臺體系的共享環(huán)境，將應用通過應用超市實現(xiàn)共享，使得不同的用戶可以更快地使用到平臺上的應用。另外，平臺利用用戶評價來促進應用的不斷改進和提升，通過學習用戶的反饋和使用體驗，不斷讓應用進化，讓應用更加易用、有用以及好用。

4）大數(shù)據(jù)的“管”——數(shù)據(jù)安全訪問（ZeroTrust）

目前，國家已經(jīng)出臺了《數(shù)據(jù)安全法》，將數(shù)據(jù)安全提升到一個更高的層面。而銳安大數(shù)據(jù)安全體系的構(gòu)建正是為了保護融合與治理之后的大數(shù)據(jù)安全。銳安大數(shù)據(jù)安全體系的設(shè)計，主要體現(xiàn)為服務化和縱深防御。服務化是將安全類技術(shù)資源，包括傳統(tǒng)安全的硬件、軟件進行集中的管理，構(gòu)建出安全防護和零信任兩大體系，并通過服務管理把它變成可以被安全管理員使用的資源。安全管理員根據(jù)自己的需要，結(jié)合等保的要求提高如終端安全、邊界安全、網(wǎng)絡(luò)安全、應用安全等等各種實體安全的能力，以此形成對整個大數(shù)據(jù)安全的縱深防御，使得數(shù)據(jù)泄露和濫用現(xiàn)象不再發(fā)生。

值得一提的是，銳安科技新一代的大數(shù)據(jù)安全體系基于零信任的理念，構(gòu)建了身份認證、權(quán)限管理、業(yè)務審計、業(yè)務審批、環(huán)境感知、安全策略控制六大安全服務，按照數(shù)據(jù)敏感程度，對數(shù)據(jù)進行分類分級，綜合考慮了用戶、終端、應用、環(huán)境等因素，對主體進行了數(shù)據(jù)訪問的授權(quán)，確保了大數(shù)據(jù)處理全程的可知、可管、可查、可控，并形成數(shù)據(jù)安全、身份可信、行為合規(guī)的統(tǒng)一大數(shù)據(jù)安全縱深防御體系。

在數(shù)據(jù)安全防御方面，特別采用了對數(shù)據(jù)進行分門別類的劃分，包含數(shù)據(jù)分級、分類、資源敏感度分類等。支持對于原始庫、標準庫、主題庫、知識庫等數(shù)據(jù)庫的分類分級管理。數(shù)據(jù)分級主要是從數(shù)據(jù)敏感程度上進行劃分；數(shù)據(jù)分類是在數(shù)據(jù)集、數(shù)據(jù)字段以及數(shù)據(jù)字段關(guān)系上進行差異化的控制，將數(shù)據(jù)面向不同的用戶和任務開放使用權(quán)限。

以上，就是銳安Ayena大數(shù)據(jù)體系在構(gòu)建過程中的理念和實踐思路。目前，銳安科技還在持續(xù)擴大其大數(shù)據(jù)治理領(lǐng)域的生態(tài)合作，希望在市場、產(chǎn)品、研發(fā)等方面與生態(tài)伙伴實現(xiàn)“攜手共贏——Run better with you”的目標。