BI系統(tǒng) 包 含的功能模塊

數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管理、業(yè)務(wù)報(bào)表、實(shí)時(shí)監(jiān)控、權(quán)限管理
開發(fā)端：不同解決方案可以有不同系統(tǒng)管理員、DTS包密碼保護(hù)、報(bào)表密碼保護(hù)瀏覽端：NT用戶認(rèn)證、BI用戶認(rèn)證數(shù)據(jù)安全：菜單/報(bào)表授權(quán)：在菜單管理中進(jìn)行設(shè)置，可控制哪些用戶可以看到哪些菜單/報(bào)表。行授權(quán)：A部門經(jīng)理只能看到A部門的數(shù)據(jù)。列授權(quán)：助理只能看到銷量，看不到利潤(rùn)。導(dǎo)出功能控制：可針對(duì)不同用戶關(guān)閉導(dǎo)出到EXCEL的功能。
在本文，作者描繪了一個(gè)理想的數(shù)據(jù)BI系統(tǒng)應(yīng)該長(zhǎng)成的樣子。你是這樣的么？enjoy~
在日常工作中，無論是to C還是to B的產(chǎn)品汪，都需要面臨一個(gè)問題，那就是在業(yè)務(wù)發(fā)展到一定規(guī)模的時(shí)候，由于林林總總的原因，譬如出于安全性考慮，亦或是業(yè)務(wù)場(chǎng)景愈加復(fù)雜等等，市面上的第三方數(shù)據(jù)分析平臺(tái)或者自家的平臺(tái)已經(jīng)無法滿足業(yè)務(wù)發(fā)展的需求，這時(shí)候，就要著手搭建一個(gè)強(qiáng)力的BI工具，以適應(yīng)高速發(fā)展的業(yè)務(wù)。
而一個(gè)好用的工具，將會(huì)解放生產(chǎn)力，極大的提高工作效率。加持了這個(gè)增益buff的運(yùn)營(yíng)和分析師們，將會(huì)如虎添翼，向你展示什么叫地表最強(qiáng)戰(zhàn)斗力。
就算沒有KPI的壓力，那試想下，運(yùn)營(yíng)小姐姐因?yàn)槟阋皇衷O(shè)計(jì)的出色BI系統(tǒng)而驚喜時(shí)，作為產(chǎn)(dan)品(shen)汪的你，是不是有機(jī)會(huì)……咳~
在進(jìn)行產(chǎn)品設(shè)計(jì)前，先花點(diǎn)篇幅來講講數(shù)據(jù)在從產(chǎn)生到消亡（歸檔）的生命周期中需要經(jīng)歷哪些階段吧。

數(shù)據(jù)采集
數(shù)據(jù)來源分兩塊，一塊是內(nèi)部數(shù)據(jù)，一塊是外部數(shù)據(jù)。對(duì)于to B的業(yè)務(wù)，內(nèi)部數(shù)據(jù)多為業(yè)務(wù)數(shù)據(jù)，譬如零售業(yè)的供應(yīng)鏈倉儲(chǔ)以及GMV的細(xì)分?jǐn)?shù)據(jù)等，金融業(yè)的交易流水和風(fēng)控模型(風(fēng)控模型也包含了用戶行為數(shù)據(jù))等，對(duì)于to C的業(yè)務(wù)或產(chǎn)品，除了基礎(chǔ)的流量數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)外還會(huì)有用戶行為數(shù)據(jù)等。這類內(nèi)部數(shù)據(jù)的獲取較為基礎(chǔ)，常規(guī)的CS/BS的接口數(shù)據(jù)交互即可完成數(shù)據(jù)采集，對(duì)于C端產(chǎn)品，比較重要的是用戶行為數(shù)據(jù)的采集，這里就需要做好數(shù)據(jù)埋點(diǎn)的工作，細(xì)化到每個(gè)事件的節(jié)點(diǎn)。

關(guān)于這類日志的采集，只要在需求的范圍內(nèi)，采集地越詳細(xì)越好，這樣可以精準(zhǔn)的定位問題，是技術(shù)支持、運(yùn)營(yíng)策略，還是產(chǎn)品設(shè)計(jì)上的問題。在一些web類應(yīng)用中也見到過每次拖動(dòng)或點(diǎn)擊就記錄行為并回傳給服務(wù)器的，這類高頻的傳輸方式能夠保障數(shù)據(jù)的完整性，但在高并發(fā)時(shí)會(huì)對(duì)服務(wù)器造成一定的壓力，產(chǎn)品汪可在需求評(píng)審會(huì)上提出此類需求和顧慮，提前讓研發(fā)團(tuán)隊(duì)了解到這種業(yè)務(wù)場(chǎng)景，并出具應(yīng)對(duì)的方案，下文講述數(shù)據(jù)處理時(shí)會(huì)順帶概述一些技術(shù)的方案。

內(nèi)部數(shù)據(jù)都是自家的，只要權(quán)限允許，那就可以進(jìn)行增刪改查的操作，但外部的數(shù)據(jù)大多不公開，需要購(gòu)買，有些甚至無處購(gòu)買，且外部數(shù)據(jù)的結(jié)構(gòu)不一，在進(jìn)行數(shù)據(jù)歸類的時(shí)候可能會(huì)造成一些困擾。對(duì)于那些能買的到的數(shù)據(jù)，往往需要進(jìn)行數(shù)據(jù)清洗。

銀行系、電商巨頭以及一些傳統(tǒng)企業(yè)陸續(xù)進(jìn)軍這個(gè)市場(chǎng)，這些巨頭們手里掌握這充足的數(shù)據(jù)，足已支撐起一個(gè)較為全面合理的風(fēng)控系統(tǒng)。但對(duì)于那些新入局的互聯(lián)網(wǎng)團(tuán)隊(duì)，就沒這么充足的數(shù)據(jù)源去搭建其風(fēng)控系統(tǒng)，這時(shí)候，這些團(tuán)隊(duì)就需要從市場(chǎng)上‘專業(yè)’從事大數(shù)據(jù)服務(wù)的公司手頭購(gòu)買數(shù)據(jù)。然而，這些都是經(jīng)過二道販子，三道販子甚至不知道幾手了的數(shù)據(jù)了，每一層中間商為了盈利，往數(shù)據(jù)里面兌水，一些互金巨頭為了干擾市場(chǎng)，也會(huì)對(duì)其中的數(shù)據(jù)進(jìn)行加工并借殼售賣，到了這些使用數(shù)據(jù)的團(tuán)隊(duì)手里時(shí)，這些充斥著垃圾的數(shù)據(jù)能有效利用的可能不到一成。而清洗這些數(shù)據(jù)，需要花費(fèi)的成本將無限大。一個(gè)用戶風(fēng)控模型的迭代修正，至少需要走完一個(gè)消費(fèi)-還貸的周期，這中間需要的時(shí)間成本不是一般的團(tuán)隊(duì)所能接受的。

對(duì)于那些買不到，但又可見的前端數(shù)據(jù)，就可以通過爬蟲的方式進(jìn)行采集。爬蟲的歷史比較悠久，自第一個(gè)搜索引擎誕生已經(jīng)過去了近三十年，而最早出現(xiàn)的爬蟲卻沒有明確的說法，唯一可以知道的是自主機(jī)web時(shí)代開始的。而發(fā)展到現(xiàn)在，爬蟲技術(shù)及其社區(qū)已經(jīng)枝繁葉茂了，從近幾年流行的python到最好的語言php，以及C語言系都可以拿來寫爬蟲。一般爬蟲的原理都是構(gòu)造請(qǐng)求，向目標(biāo)服務(wù)器請(qǐng)求相關(guān)內(nèi)容。數(shù)據(jù)本身就是一個(gè)相對(duì)敏感的點(diǎn)，有些數(shù)值類的數(shù)據(jù)往往是一個(gè)公司的命脈，為了遏制爬蟲來采集數(shù)據(jù)，公司一般會(huì)設(shè)計(jì)不同的機(jī)制來反爬蟲。譬如常規(guī)的服務(wù)器判斷請(qǐng)求頭部的UA和Referer，對(duì)cookie和驗(yàn)證碼的驗(yàn)證，對(duì)IP訪問次數(shù)的限制，通過對(duì)CDN標(biāo)識(shí)的判別。還有一些前端的限制的方法，比如用JS動(dòng)態(tài)加載數(shù)據(jù)以及一些能加大解析頁面難度的做法。

比較成熟的就是一些前后端結(jié)合的方法，比如前文所講的用戶行為記錄，再通過用戶模型算法找出爬蟲的特征，從而進(jìn)行封殺。對(duì)于爬蟲，大多數(shù)網(wǎng)站還是比較寬容的，或者說，沒有一個(gè)萬全之策來分辨真實(shí)用戶和爬蟲，因?yàn)檎`傷率一直是個(gè)繞不過去的坎。關(guān)于如何應(yīng)對(duì)反爬蟲機(jī)制，感興趣的觀眾老爺可以繞道去攜程技術(shù)中心的公眾號(hào)看看，作為各類爬蟲教程的目標(biāo)網(wǎng)站，攜程對(duì)Anti-Crawler這個(gè)課題還是有些心得的。

數(shù)據(jù)處理
一般來說，涉及的數(shù)據(jù)的存儲(chǔ)處理，不在產(chǎn)品崗的只能范圍內(nèi)。但是產(chǎn)品汪么需要明確數(shù)據(jù)調(diào)用的需求，以便DB開發(fā)設(shè)計(jì)合理的技術(shù)架構(gòu)。按照數(shù)據(jù)所在的生命周期，或者數(shù)據(jù)被調(diào)用的頻率，可以將其分為四個(gè)等級(jí)，活躍數(shù)據(jù)、休眠數(shù)據(jù)、沉默數(shù)據(jù)和歸檔數(shù)據(jù)。這里拿電商的訂單周期作為范本解釋。

活躍數(shù)據(jù)：這里的活躍數(shù)據(jù)一般指的是需求確定需要長(zhǎng)期存儲(chǔ)的數(shù)據(jù)。不包括那些存儲(chǔ)在緩存里，在短時(shí)間會(huì)過期的數(shù)據(jù)。用戶確認(rèn)提交訂單后，一直到確認(rèn)收貨，這個(gè)期間的訂單的數(shù)據(jù)會(huì)以高頻率被訪問，用戶、商家、平臺(tái)、物流等多方角色需要查看這條數(shù)據(jù)，以確保這個(gè)訂單完成。

休眠數(shù)據(jù)：休眠數(shù)據(jù)被訪問的頻率一般。訂單走完正常的周期，已經(jīng)超過退換貨的期限時(shí)，可能因?yàn)楸Ｐ蓿y(tǒng)計(jì)分析等情況任會(huì)被調(diào)用。
沉默數(shù)據(jù)：這類數(shù)據(jù)被訪問的頻率相對(duì)較低，在常規(guī)處理和存儲(chǔ)后，已經(jīng)將需要長(zhǎng)期調(diào)用的內(nèi)容存儲(chǔ)到其它數(shù)據(jù)庫表中作為活躍數(shù)據(jù)使用，此時(shí)源數(shù)據(jù)將進(jìn)入沉默階段，一般只在周期性的統(tǒng)計(jì)時(shí)會(huì)被調(diào)用。在分析季度商品銷售情況時(shí)，需要翻出這筆訂單來詳細(xì)的分析。
歸檔數(shù)據(jù)：歸檔數(shù)據(jù)指的是已經(jīng)被處理提取重要內(nèi)容的源數(shù)據(jù)，為了數(shù)據(jù)完整性，對(duì)源數(shù)據(jù)進(jìn)行歸檔處理，歸檔的意義不光是指?jìng)浞輸?shù)據(jù)，數(shù)據(jù)需要在生命周期的各個(gè)階段做好備份工作。歸檔的另一個(gè)意義是壓縮數(shù)據(jù)結(jié)構(gòu)，保障核心數(shù)據(jù)能夠被快速響應(yīng)。
在日常工作中，數(shù)據(jù)的等級(jí)界限也許不會(huì)這么明確，具體還得看需求的情況。

數(shù)據(jù)應(yīng)用
講完了數(shù)據(jù)的產(chǎn)生到歸檔，相信觀眾老爺心中對(duì)這個(gè)BI數(shù)據(jù)系統(tǒng)的搭建已經(jīng)有一個(gè)整體的規(guī)劃了，下面筆者將描述在筆者心中，一個(gè)理想的數(shù)據(jù)BI系統(tǒng)，應(yīng)該是長(zhǎng)成什么樣子的？

后臺(tái)的在進(jìn)行有關(guān)數(shù)據(jù)的操作時(shí)，都可以選擇進(jìn)行GUI和SQL的操作。下文的所有功能只描述GUI狀態(tài)下的使用，不描述SQL狀態(tài)下的使用。保留SQL功能的原因有以下幾點(diǎn)，就像Bash會(huì)比GUI界面發(fā)生意外的概率小很多一樣，純SQL操作比GUI操作來的穩(wěn)定，而且數(shù)據(jù)開發(fā)更樂意去使用SQL。這種保險(xiǎn)設(shè)計(jì)可以在產(chǎn)品迭代的過程中，實(shí)現(xiàn)一些因?yàn)椴怀Ｓ枚笔У墓δ堋?br>
下面按照操作流程，講講各模塊的功能。

數(shù)據(jù)管理
在生產(chǎn)環(huán)境中，業(yè)務(wù)數(shù)據(jù)，流量數(shù)據(jù)或著其他數(shù)據(jù)的元數(shù)據(jù)已經(jīng)產(chǎn)生，存儲(chǔ)在數(shù)據(jù)庫，這部分?jǐn)?shù)據(jù)稱之為「數(shù)據(jù)源」，這個(gè)功能的頁面稱之為「數(shù)據(jù)源管理」，整個(gè)后臺(tái)對(duì)數(shù)據(jù)源的唯一的權(quán)限只有讀取(select)，不然誤操作造成損失，這口鍋真不好分，直觀的看，好像是操作者的失誤，再深一步講，是技術(shù)規(guī)范的缺失，但追究到底，還是產(chǎn)品設(shè)計(jì)的缺陷，所以，權(quán)限切記控制到只讀。用戶(運(yùn)營(yíng)，數(shù)據(jù)分析師，數(shù)據(jù)工程師皆稱為用戶)可以讀取數(shù)據(jù)源庫表中的元數(shù)據(jù)，并存儲(chǔ)到數(shù)據(jù)庫，這部分被提煉過的數(shù)據(jù)稱之為「數(shù)據(jù)集」。許多數(shù)據(jù)需要每日定時(shí)或者按照其它周期進(jìn)行處理，譬如那些避開服務(wù)器并發(fā)的時(shí)段的數(shù)據(jù)統(tǒng)計(jì)，這種數(shù)據(jù)的錯(cuò)峰處理大多放在凌晨或者其他服務(wù)空閑的時(shí)段，為了節(jié)省用戶的精力和防止疏漏，這種周期性的點(diǎn)控式的任務(wù)就顯得很有意義，但是單個(gè)任務(wù)沒法滿足對(duì)復(fù)雜數(shù)據(jù)的處理需求，借用MySQL的事件調(diào)度器(Scheduler)和觸發(fā)器(Trigger)的設(shè)計(jì)理念，將這些任務(wù)連接在一起，讓它們按照指定條件依次執(zhí)行，從而實(shí)現(xiàn)按照序列處理數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)內(nèi)容的任務(wù)環(huán)。數(shù)據(jù)集操作生成的庫表的增刪改查權(quán)限控制在初始化時(shí)，默認(rèn)只開放給用戶自己，若有需求，后期可以在權(quán)限管理中配置。

業(yè)務(wù)報(bào)表
在完成了對(duì)數(shù)據(jù)的處理后，數(shù)據(jù)還只是純粹的單一結(jié)構(gòu)的內(nèi)容，干巴巴的數(shù)據(jù)難以直觀地觀察，所以數(shù)據(jù)可視化這一功能必不可少。市面上優(yōu)秀的開源前端框架有很多，這里推薦兩款——AntV和Echarts。這兩塊框架能夠滿足絕大多數(shù)業(yè)務(wù)場(chǎng)景，尤其推薦Echarts，給某度開源如此良心之作打call，Echarts中g(shù)allery社區(qū)的作品堪稱驚艷，如果這個(gè)框架能將性能再繼續(xù)優(yōu)化下去，那就是做數(shù)據(jù)可視化的不二之選。關(guān)于AntV的話，友商都說Ant Design可能是開創(chuàng)了UI組件庫的先河，組件的視覺、交互設(shè)計(jì)和前端的融合可謂是相當(dāng)讓人佩服。在實(shí)現(xiàn)上使用了較為先進(jìn)的框架，主要還是React實(shí)現(xiàn)，好在今年八月，Angular版本的總算發(fā)布了。不過框架歸框架，研發(fā)同學(xué)選擇技術(shù)方案是他們的權(quán)利，產(chǎn)品汪在進(jìn)行后臺(tái)設(shè)計(jì)時(shí)可以參考AntV，這樣可以讓你少走很多彎路。業(yè)務(wù)報(bào)表設(shè)計(jì)功能可以達(dá)到高度自定義，可以對(duì)業(yè)務(wù)報(bào)表的菜單、頁面布局進(jìn)行設(shè)計(jì)。在進(jìn)行圖表設(shè)計(jì)時(shí)可以選擇豐富圖表類型，從常規(guī)的折線圖、柱狀圖和餅圖等到不同領(lǐng)域常用的圖表，譬如K線圖，漏斗圖，關(guān)系圖等。然后再給圖表填充數(shù)據(jù)，按照規(guī)則給圖表入?yún)ⅲc此同時(shí)對(duì)該表報(bào)的展示對(duì)象進(jìn)行用戶選擇。這種高度自由的操作方式，看似會(huì)增加研發(fā)的周期和成本，但這種設(shè)計(jì)實(shí)際上將會(huì)解放研發(fā)同學(xué)。在后期產(chǎn)品迭代成型后，用戶自主使用數(shù)據(jù)生成報(bào)表，而不是常規(guī)進(jìn)行需求-開發(fā)的周期，從而讓研發(fā)同學(xué)將更多精力放在核心技術(shù)上而不是業(yè)務(wù)上。所以綜上所述，這種設(shè)計(jì)不光是功能上的設(shè)計(jì)，而且還是一種成本轉(zhuǎn)移的設(shè)計(jì)。

實(shí)時(shí)監(jiān)控
該模塊分兩個(gè)主要功能，一個(gè)是概覽功能，一個(gè)是異常預(yù)警。概覽頁面就是業(yè)務(wù)報(bào)表的Dashboard，唯一的差別就是這里的數(shù)據(jù)多為實(shí)時(shí)數(shù)據(jù)，所以不贅述，如果希望這個(gè)門面能好看點(diǎn)，那就單獨(dú)拿出來，作為一個(gè)獨(dú)立的功能需求進(jìn)行設(shè)計(jì)開發(fā)。關(guān)于異常預(yù)警模塊，很多時(shí)候名不副實(shí)，預(yù)警意義在于預(yù)測(cè)當(dāng)某個(gè)數(shù)值達(dá)到臨界點(diǎn)時(shí)進(jìn)行報(bào)警操作，但這種預(yù)警機(jī)制的算法可能會(huì)復(fù)雜，難以制定產(chǎn)品需求邏輯。所以在實(shí)際設(shè)計(jì)中，警報(bào)觸發(fā)的條件可以配置多個(gè)，按照?qǐng)?zhí)行周期輪詢，觸發(fā)時(shí)進(jìn)行短信或者郵件等推送操作，和數(shù)據(jù)源管理一樣要注意的是庫表名稱的日期變量和事件環(huán)的設(shè)定。

權(quán)限管理
在講整個(gè)產(chǎn)品設(shè)計(jì)中，一直在強(qiáng)調(diào)權(quán)限的管理，不是筆者話多，這個(gè)關(guān)系到數(shù)據(jù)安全的問題還是得注意下的。數(shù)據(jù)庫的權(quán)限控制應(yīng)當(dāng)從服務(wù)器、數(shù)據(jù)庫到特定表，關(guān)于控制到特定的列甚至存儲(chǔ)過程，雖然MySQL有這個(gè)功能，但好像常規(guī)的權(quán)限真的沒必要控制到這么精細(xì)。當(dāng)然，對(duì)于數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)內(nèi)容的增刪改查權(quán)限還是有必要做權(quán)限控制的。最后，加上基本的操作日志的展示，用以查錯(cuò)問責(zé)皆可。

講到這里筆者也就將整個(gè)產(chǎn)品設(shè)計(jì)的思路敘述完成了，觀眾老爺可能會(huì)覺得沒有圖解，過于抽象不好理解。但其實(shí)，筆者是故意沒放圖例的，因?yàn)閾?dān)心放了原型后，會(huì)誤導(dǎo)讀者進(jìn)行雷同的產(chǎn)品設(shè)計(jì)，故而只敘述核心功能，不做視覺和交互上的表現(xiàn)。如有哪里看不懂的或有歧義的可以向筆者公眾號(hào)提問，筆者會(huì)抽時(shí)間回復(fù)的。

企業(yè)在業(yè)務(wù)早期用第三方的平臺(tái)服務(wù)是高性價(jià)比的選擇，但也要考慮到后期數(shù)據(jù)遷移的問題。第三方平臺(tái)為了最大化平臺(tái)的價(jià)值，不可避免的設(shè)計(jì)通用的產(chǎn)品結(jié)構(gòu)和服務(wù)體系，以兼容更多業(yè)務(wù)場(chǎng)景，但這樣一來就不能適配企業(yè)一些特殊的業(yè)務(wù)需求。最重要的是，自家的數(shù)據(jù)的一系列操作都在別人家的服務(wù)器上運(yùn)行，這個(gè)數(shù)據(jù)安全的問題是塊心病。今年年中時(shí)，作為菜鳥物流的創(chuàng)始成員之一的順豐，受到菜鳥集團(tuán)的一波突襲，這已然不是站隊(duì)的問題了，從IaaS到SaaS，一大撂數(shù)據(jù)的處理和傳輸都是經(jīng)過別人家的基礎(chǔ)設(shè)施，在信息主權(quán)這個(gè)問題上，一旦發(fā)生了糾紛，那處理起來一個(gè)頭兩個(gè)大。前陣子開完的人大常會(huì)上，新修訂了反不正當(dāng)競(jìng)爭(zhēng)法，也許有希望改善這個(gè)問題。畢竟對(duì)于企業(yè)而言，還是希望將更多的精力投入到業(yè)務(wù)經(jīng)營(yíng)上，而不是進(jìn)行一些糟心的商戰(zhàn)。不過好在市場(chǎng)上已經(jīng)有越來越多的數(shù)據(jù)服務(wù)供應(yīng)商已經(jīng)可以提供私有化部署，加上個(gè)性化的功能設(shè)計(jì)在一定程度上可以解決企業(yè)的業(yè)務(wù)需求。