現在的游戲叫數據，在知識經濟與信息時代，每個人都面臨如何有效地吸收、理解和利用信息的挑戰。那些能夠有效利用工具從數據中提煉信息、發現知識的人，最終往往成為各行各業的強者！”—《魔鬼經濟學》蒂芬.列維特多年前導師曾給我講，慎談智能，當時不是很理解，現在看來深以為然，不過在如今的大數據時代，機器智能好像有點譜了。

這篇文章我就來談談商業智能（Business Intelligence, BI）的智能問題，商業智能最早由加特納集團（Gartner Group）于1996年提出，發展至今已過20年，各大型企業、機構花巨資建設的BI系統真的智能了嗎？

顯然不是，當今的大數據時代，甚至有很多質疑傳統BI的聲音，花巨資建設的系統淪為豪華報表，耗費了大量的人力物力和時間，卻難以有效滿足決策支持和操作型業務支持等。為什么會這樣子？大數據時代的商業“智能”之路怎么走？傳統BI能否擴展強化為堪比AI的真智能？

下面關于BI的智能化之路提幾點淺見，供大家探討。

1．傳統的商業智能離智能還很遠。

首先，我們要認識到現階段的商業智能，還僅僅是提供基本的商業情報信息決策支持，我們看維基百科的商業智能定義：”a set of techniques and tools for the acquisition and transformation of raw data into meaningful and useful information for business analysis purposes”，利用一系列技術和工具把原始數據轉化為有價值的信息，為商業分析服務，這個定義本身就離智能相差很遠。傳統BI一般是成套技術解決方案，對企業日常經營過程中產生的大量數據進行采集、ETL處理和數據倉庫存儲，通過OLAP分析，挖掘技術等將集中的數據進行分析，轉化為有用的信息和知識，從而為精益化管理和商業決策提供科學的數據支持，可見傳統BI的核心是進行決策支持，這種支持遠沒有智能化。

我們再看看什么叫智能，智能簡稱智慧和能力，至少包括三個方面的能力：理解、分析、解決問題的能力，歸納、演繹推理能力，自適應生存和發展能力。

機器和系統要智能，至少具備初步的自動控制、分析推斷和自適應更新能力。所以從這個意義上講，前二十年要說商業智能有多智能那都是忽悠。應該說，進入大數據時代之后，商業智能才有望摸到點智能的門，當然要解決一系列關鍵技術問題，換個角度講，傳統BI如果不能在“智能”上做足文章進行鳳凰涅磐，很可能是消亡的命運。

2．操作型BI與大數據集體智慧。

為什么BI的智能化要重視業務操作端（專業的說法叫操作型BI-Operational BI），一般來講BI是為各級領導決策服務的，傳統BI的業務操作端功能很弱，甚至沒有，這種情況跟大數據的理念是相悖的，因為沒有群體的深度參與就難以產生智能，同時這也是導致很多BI項目最終失敗的根本原因。

集體智慧簡單來講，可以理解為一種集體決策能力，它至少等同或優于群組中的任何一個成員（Hiltz & Turoff，1978），集體智慧在計算機領域的實現來講，可以被看作一種創造性生產力，一種分布式計算過程，一種有關連結的智慧等等。其核心特征：一是集體（多種來源，集體智慧由個體行為以顯性或隱性的方式匯聚而成），二是關聯（個體聯系，形成共同的認知、行為狀態或趨勢）。Kaggle,GitHub,知乎，百科等平臺就是集體智慧的體現，而互聯網是整個地球人類集體智慧的體現。

在大數據時代，一個組織、企業要實現管理的智能化和決策進化，還是原來那種靠領導拍腦袋進行決策，是很危險的，特別是面對復雜關聯和相互擴散影響等問題，有興趣的朋友可以了解華為的運作機制，應該說對這方面把握的很好，輪值CEO、全球化辦公云、各種內外部社區交流等都是集體智慧的體現。大數據條件下的BI不只是數據抽取、存儲和展現，而是要通過BI過程精細化掌握企業各方面情況，能找出相關業務環節的瓶頸并分析問題，并給出問題的解決方案。

BI固然是為決策支持服務，但要滿足精細化管理和預測性決策支持目標，一線業務操作端的智能化支持不容小覷，BI需要為普通的業務人員服務，從數據采集、數據反饋和數據迭代等多個層面進行支持，提供實時性預判性的指導，OBI的服務圍繞企業的業務一線，如智能客服、精準營銷、庫存優化、流程優化等活動。

如果說大數據決策支持中心是企業的大腦的話，那么這些一線操作業務涉及的相關數據就是企業的神經末梢，負責各種實時數據的采集、預判和反饋，通過全面地數據采集、流動和增強，來提升企業的決策能力，就好比蜂群的集體智慧，從單個部門或人員數據中找預測規律比較難，整個生態種群的全面數據采集和分析就容易多了。所以說，BI要智能化，要同樣重視業務操作端，業務操作端的集體智慧決定了數據質量、數據范圍和企業內外部數據的精細化服務能力，而這些恰恰是智能的基礎。

3．大數據融合與智能學習擴展。

本體意味著世界本身已經存在了一個完美的知識體系，我們學習成長過程就是從本體中摸索、推測和構建自我知識體系的過程。計算機要產生智能同理，現階段的機器學習只是碎片化的片段知識構建，機器要智能化必須能部分實現這個認知過程。竊以為融合事物本體知識和跨模態數據處理能力的大數據機器學習（深度學習）是機器智能誕生的可行方法（最近深度學習結合知識庫、存儲記憶和注意力機制等研究也說明了這一點）。

本體論對機器來講是一種解決關聯和推理的技術手段，而跨模態數據融合是解決全樣本問題的關鍵。從這個角度來講，大數據和商業智能其實不矛盾，只是各有側重罷了：傳統商業智能還是以結構化數據為主，ETL、數據倉庫、OLAP多是處理結構化數據，結構化數據本質還是數據孤島，雖然形式上的數據倉庫做了數據集中，但并沒有完成深層的數據關聯和融合，所以談不上智能；而大數據處理沒有結構化數據限制，結構化、半結構化、非結構化數據都能統一納入處理，這就需要跨模態、全樣本數據融合處理的支持，另外本體庫、知識庫要解決計算機對數據的深層關聯和認識推理等關鍵問題。

如何整合多源異構數據資源、實現本體構建和深度學習、推理、預測,為管理決策和業務操作端提供更加完整、可靠和智能的服務，是未來BI智能化要突破的關鍵技術瓶頸。所以，大數據條件下，傳統BI的技術架構已經不能滿足這個需求，不管是多模態處理、多模式計算還是深度、實時學習和分析等方面，基于ETL、數據倉庫、OLAP和一般可視化等技術的傳統BI都有較大局限。

但是不是就意味著傳統BI就完全沒有用了呢，也不盡然，從技術角度講，傳統BI的功能都可以被對應的大數據組件所替代，但考慮到成本和技術、數據積累等問題，能進行深度擴展的系統就不用完全重建。我在前文的《企業大數據應用三段論》有提到過，大數據分基礎描述性分析和高級智能分析階段：傳統BI應該算是一種基礎分析手段，特別是在企業信息化和數據獲取能力較弱的條件下，可以用BI來進行數據分析應用的普及（只是傳統BI那種高成本架構就完全沒必要了，特別是沒用較強擴展能力的產品）；基于機器學習和深度學習的預測性數據挖掘可以理解為高級分析，基礎分析做不好，高級分析就無從談起，當然兩者的架構是有較大差異的。

大數據和BI可否融合起來呢？答案是肯定的，SAP、ORACLE、IBM等BI產品逐步在支持各種開源大數據技術系統。

個人認為，大數據和BI應該是一個融合和集成的關系，傳統商業智能分析歷史，真正的智能要能預測（預見）未來，不管是BI系統還是大數據系統，都是圍繞數據分析展開，一個是偏單模態數據基礎分析，基于ETL、數據倉庫、數據集市、OLAP等技術；一個是多模態（多源異構）數據高級預測分析，基于數據融合、自動特征工程、列式存儲、深度學習、可視化關聯分析等技術。

數據規模的大小不是關鍵，關鍵在于數據融合和智能學習的強化，所以說，大數據時代的商業智能要真正實現智能化，不一定是對BI系統進行推倒重來，只需針對大數據處理特點對傳統BI技術架構進行并行擴展，解決跨模態數據融合，離線和在線，實時和歷史，存量和增量，基礎分析與智能學習等核心問題。總之大數據時代，第一解決全樣本數據融合問題，第二解決智能學習問題，借助于人工智能、機器學習、深度學習等技術，商業智能才有望實現智能進化。

4．以業務（問題）為中心與自助式探索分析。

以人為中心還是以技術為中心，這是傳統BI衰落的關鍵原因，如Tableau, Qlikview等新型BI產品的沖擊在倒逼傳統BI產品緩慢改進。將來除了基礎設施之外，一切重量級的系統或產品很可能存在應用陷阱，天下武功唯快不破，大數據時代更是在強化這一點。Tableau等能在一個動態的，互動的可視化UI界面去探索數據的多面性，實時地回答用戶的問題，方便用戶理解數據的關聯和因果，新型BI不再是領導層的專屬，而是鼓勵全面參與的數據分析，傻瓜化的探索方式、參與第一、以人和問題為中心，這種集體智慧式的BI分析才符合大數據應用的目標，畢竟智能需要靠人的深度互動和參與，系統只是輔助，不管數據層面還是學習層面都不能忽視這一點。

正如約翰.懷爾德杜克所說：“面對那些我們堅信存在或不存在的事物時，探索性分析代表了一種態度，一種方法手段的靈活性，更代表了人們尋求真相的強烈愿望”。這里重點強調下可視化，大數據可視化不是萬能的，但蹩腳的可視化技術是萬萬不能的：

（1）友好的可視化界面讓人人成為數據分析師成為可能，何為友好，如何考慮大眾的信息化能力，不只是炫目的展示，而是能激發人的參與激情，能引導人的快速學習，能啟發人的深層理解，這是決定大數據和BI是否具有靈活性和預見性的關鍵；

（2）傳統BI的衰落，就是因為大數據時代，我們的產品注意力轉移到了前端，怎么自動化快速解決實際問題，怎么方便上手使用是第一位的，算法技術再牛交互做得不好也是失敗的產品；

（3）業務人員能獨立完成問題的分析，初步找到答案，由技術驅動轉為業務驅動，才能強化BI系統的智能化建設，為全員提高數據分析技能的同時，為操作型BI和群體智慧的進化打下基礎。強調前端可視化并不意味著就能輕視后端技術，反而需要強大的后端技術進行支撐，不然很可能淪為華而不實的炫目圖表。通過自行拖拽式操作，如何快速融合多源異構數據，并有各種跨模態機器學習模型進行支撐？可視化數據的各項屬性指標如何快速讓用戶理解其概念、層級、意義及其聯系？

各種分析場景下的問題識別與知識發現、跨域關聯挖掘、多維度關聯探索等，都是BI需要考慮的環節。總之，高效的可視化探索，對后端大數據技術的要求其實是提高了。

5．敏捷、開放、迭代與閉環前述智能的自適應能力

操作型BI的實時響應能力、大數據融合與跨模態處理能力、可視化的快速變換響應能力，無不需要敏捷技術的支持。

我在前文《說說敏捷大數據》有提到過敏捷，但還不成體系，后續會發文來深入探討這一領域。總之，大數據時代，數據規模增大的同時，我們的決策也在面對前所未有的變化：企業在變、客戶在變、技術在變、服務在變、基礎設施在變、商業模式也在變…而且變化趨勢在加劇。另外，面對可供選擇的龐大技術棧、工具集和產品服務越來越多，如何構建具備擴展性、兼容性、動態性、容錯性和決策進化的大數據系統是未來信息化、智能化面臨的關鍵問題。

需要重點關注如下幾個方面：

（1）大數據和數據科學的迭代性本質，意味著預測的不確定性、探索性，很多的分析場景都是在不斷的業務探索中找出來的，這需要BI的業務和技術能具備開放性和迭代能力，才能響應各種變化需求，大數據應用就是在與時間賽跑，業務層面+技術層面的全面敏捷勢在必行；

（2）大數據時代的BI要能解決增量問題，如增加新的數據、提出新的問題、發現新的模式，相應地需要進行多源異構數據融合支持、自助式探索分析支持和交互式反饋驗證支持等，在反饋閉環中進行各種關鍵模型的智能進化。

（3）開源技術和購買產品的互補選型，去IOE有其發展必然性，特別是DT技術泛型跟傳統IT產品技術的不連續甚至是斷裂問題，完全基于三方產品的生態系統要智能化，相當困難。所以說，前些年大公司專屬BI的沒落，也是時代發展的必然，傳統IT工業重量級產品的基因里少有敏捷、開放、迭代等關鍵詞，要智能也就更難了，IBM沃森與大型醫院的合作失敗，號稱50億美元的醫療AI項目打水漂，有興趣的朋友可以關注一下相關技術。

6．小結

大數據時代的商業“智能”之路不好走，對傳統重量級BI產品來講，是一條涅盤之路，要突破的問題很多，產品太重量級，太貴，技術擴展性和敏捷性都不好，不利于快速學習掌握，要實施好很困難等；對新興大數據技術來講，是一條融合和兼容并包之路，大數據離開企業結構化數據庫就少了半壁江山，大數據強大的前端可視化交互分析能力，大數據技術交互式，實時性，開放性，迭代性，容錯性等數據科學基因，都是傳統BI要學習的地方，當然傳統BI的積淀對大數據應用來講也會起到事半功倍的效果。總之，整合BI和大數據系統并非易事，兩種技術泛型的磨合和還需要時間，耐心和創新，同時這個大浪淘沙的過程也是以互聯網和傳統企業為代表的兩類IT巨頭們的技術對決，搞大數據的小伙伴們可不要站錯隊：）不過可以肯定的是，留給傳統BI產品的時間不多了。

?

?