在聊數(shù)據(jù)治理的需求時(shí)，經(jīng)常會(huì)聊到以下問(wèn)題：

我想知道企業(yè)到底有多少數(shù)據(jù)，他們都在哪里？

我想知道企業(yè)的數(shù)據(jù)哪些價(jià)值高，哪些價(jià)值低？

我想知道哪些部門經(jīng)常使用數(shù)據(jù)，以及使用哪些數(shù)據(jù)？

我想知道哪些數(shù)據(jù)的采集任務(wù)會(huì)經(jīng)常出現(xiàn)問(wèn)題？

我想知道哪些數(shù)據(jù)是符合數(shù)據(jù)標(biāo)準(zhǔn)的，而哪些是非標(biāo)數(shù)據(jù)？

我想知道增量數(shù)據(jù)對(duì)存儲(chǔ)空間的影響，現(xiàn)有存儲(chǔ)是否需要擴(kuò)容？

我關(guān)注的數(shù)據(jù)為什么需要從多個(gè)渠道才能拿到？

我關(guān)注的數(shù)據(jù)有問(wèn)題，為什么不能主動(dòng)預(yù)警？

我提的一個(gè)數(shù)據(jù)需求，為什么IT響應(yīng)的這么慢？

……

沒(méi)錯(cuò)，遇到以上問(wèn)題，給你的數(shù)據(jù)治理建一個(gè)“門戶”就對(duì)了！今天跟大家聊一聊什么是數(shù)據(jù)門戶，以及數(shù)據(jù)門戶怎么建。

01 數(shù)據(jù)門戶概述

1、門戶往事

門戶，英文名字：Portal，多么形象、多么直觀！

從這個(gè)名字上就不難看出，門戶就是為你打開一個(gè)認(rèn)識(shí)新世界的窗口。Portal原意是指正門、房屋的出入口，現(xiàn)在更多用于互聯(lián)網(wǎng)的門戶網(wǎng)站，是指集成了多樣化內(nèi)容服務(wù)的Web站點(diǎn)，又稱為網(wǎng)絡(luò)門戶。例如，大家都熟悉的搜狐、新浪、網(wǎng)易、騰訊……

門戶（Portal），對(duì)我而言是再熟悉不過(guò)了！早在10多年前，我作為企業(yè)門戶產(chǎn)品經(jīng)理，就與Poral結(jié)緣了。當(dāng)年，SOA興起，Portal作為SOA家族的重要成員，在企業(yè)信息化的舞臺(tái)之上是一個(gè)非常耀眼的明星。不過(guò)當(dāng)時(shí)國(guó)內(nèi)真正意義上的企業(yè)門戶產(chǎn)品幾乎沒(méi)有，統(tǒng)治企業(yè)級(jí)Portal應(yīng)用市場(chǎng)的一直是國(guó)外巨頭Oracle。那時(shí)候，國(guó)內(nèi)一些大型的央企、國(guó)企幾乎清一色的用是Oracle weblogic Portal。剩下一些中小型企業(yè)，干脆把OA當(dāng)做了門戶去用，因?yàn)閷?shí)施一套國(guó)外的門戶產(chǎn)品真的很貴。在這個(gè)背景下，我作為產(chǎn)品經(jīng)理帶著產(chǎn)品團(tuán)隊(duì)基于開源框架研發(fā)了公司自己的企業(yè)門戶產(chǎn)品，并且很快形成了與Oracle叫板的競(jìng)爭(zhēng)力。這個(gè)競(jìng)爭(zhēng)力主要三方面因素：

1、成熟的框架平臺(tái)，可根據(jù)用戶角色，靈活配置各種“辦公桌面”，諸如：公司領(lǐng)導(dǎo)桌面、部門領(lǐng)導(dǎo)桌面、員工桌面等等。
2、即插即用的協(xié)同組件，例如：?jiǎn)吸c(diǎn)入口、統(tǒng)一待辦、工作日程、常用功能、關(guān)鍵指標(biāo)等等，這樣的組件有大約有四五十個(gè)吧，基于這些組件可以快速構(gòu)建出不同角色用戶所需要的“辦公桌面“（也叫：個(gè)人工作臺(tái)）。
3、價(jià)格低廉。（當(dāng)然，除了這三點(diǎn)還有公司領(lǐng)導(dǎo)卓越的戰(zhàn)略定位和市場(chǎng)布局）以上，讓我們?cè)诩ち业男袠I(yè)市場(chǎng)競(jìng)爭(zhēng)中，終于殺出一條血路！以至于到后來(lái)的所向披靡，鮮有對(duì)手……

2、數(shù)據(jù)門戶誕生
轉(zhuǎn)眼，SOA時(shí)代就過(guò)去了，企業(yè)迎來(lái)了數(shù)字化時(shí)代。企業(yè)的信息化也從系統(tǒng)建設(shè)、應(yīng)用集成逐步轉(zhuǎn)向了數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用，企業(yè)門戶產(chǎn)品似乎也漸漸淡出了人們的視野。雖然企業(yè)門戶產(chǎn)品似乎退出了企業(yè)信息化的歷史舞臺(tái)，但是門戶的理念卻一直沿用至今，例如我們經(jīng)常看到的協(xié)同門戶、人力門戶、財(cái)務(wù)門戶、黨建門戶、生產(chǎn)門戶、銷售門戶等等，只要按照一定的業(yè)務(wù)邏輯把相關(guān)內(nèi)容（信息、鏈接、文件等）聚合在一起，那它就是一個(gè)門戶。同樣，數(shù)據(jù)治理也需要這樣一個(gè)門戶，它可以根據(jù)用戶的角色將各類信息和內(nèi)容的匯集和整合，形成用戶專屬的“數(shù)據(jù)工作臺(tái)”，主要用于提供數(shù)據(jù)的訪問(wèn)、查詢和分析，以及解決我們開篇提到的各類問(wèn)題。

3、數(shù)據(jù)門戶的類型
根據(jù)不同的需求和功能，數(shù)據(jù)門戶也可以分為以下幾種類型：業(yè)務(wù)型數(shù)據(jù)門戶：主要面向企業(yè)的業(yè)務(wù)用戶，提供數(shù)據(jù)分析、查詢、報(bào)告和決策支持等功能。學(xué)術(shù)型數(shù)據(jù)門戶：主要面向?qū)W術(shù)機(jī)構(gòu)和研究人員，提供科學(xué)研究數(shù)據(jù)的共享、查詢和分析等功能。社交型數(shù)據(jù)門戶：主要面向社會(huì)公眾，提供用戶生成的數(shù)據(jù)、社交數(shù)據(jù)和娛樂(lè)數(shù)據(jù)等，以及社交功能和用戶互動(dòng)功能。行業(yè)型數(shù)據(jù)門戶：主要面向特定行業(yè)，如金融、醫(yī)療、教育等，提供行業(yè)數(shù)據(jù)的查詢、分析和應(yīng)用等功能。政府公共數(shù)據(jù)門戶：主要面向政府機(jī)構(gòu)和公眾用戶，提供政府公共數(shù)據(jù)的查詢、下載、分析和應(yīng)用等功能。另外，按照所涉及的數(shù)據(jù)對(duì)象不同，我們經(jīng)常將數(shù)據(jù)門戶又分為數(shù)據(jù)資源門戶和數(shù)據(jù)資產(chǎn)門戶。顧名思義，數(shù)據(jù)資源門戶是對(duì)數(shù)據(jù)資源的管理和匯集，而數(shù)據(jù)資產(chǎn)門戶是為數(shù)據(jù)資產(chǎn)的管理和查詢提供了統(tǒng)一入口。從功能上講，兩者并沒(méi)有什么不同，但由于他們所涉及的數(shù)據(jù)對(duì)象不同，所以也會(huì)有一些區(qū)別，例如：數(shù)據(jù)資源門戶通常是由IT部門管理的，是對(duì)企業(yè)所有數(shù)據(jù)的匯聚和整合，而數(shù)據(jù)資產(chǎn)門戶則是針對(duì)那些對(duì)企業(yè)有價(jià)值的數(shù)據(jù)的集成，更多是為業(yè)務(wù)部門服務(wù)的，因?yàn)闃I(yè)務(wù)部門更清楚數(shù)據(jù)有哪些價(jià)值。

02 數(shù)據(jù)門戶的特征
數(shù)據(jù)門戶作為Portal的一個(gè)專項(xiàng)應(yīng)用，其一些核心特性和理念，始終沒(méi)有改變，這些特性應(yīng)該需要固化在企業(yè)的數(shù)據(jù)治理相關(guān)產(chǎn)品或系統(tǒng)中。遺憾的是，截至目前我還沒(méi)有在市面上看到過(guò)讓我眼前一亮的數(shù)據(jù)門戶產(chǎn)品。接下來(lái)，聊一聊我理解的數(shù)據(jù)門戶應(yīng)具備的能力！
1、數(shù)據(jù)聚合能力聚合是Portal的最基本能力，門戶不僅可以集成多種數(shù)據(jù)統(tǒng)計(jì)信息，還可以實(shí)現(xiàn)各種數(shù)據(jù)管理和使用工具的集成，以及相關(guān)功能鏈接的匯聚，并為用戶提供統(tǒng)一的訪問(wèn)和體驗(yàn)。
2、數(shù)據(jù)協(xié)同能力門戶為協(xié)同而生，沒(méi)有協(xié)同能力的門戶不是好Portal！數(shù)據(jù)門戶的協(xié)同能力表現(xiàn)在：
1）可以支持團(tuán)隊(duì)成員之間的協(xié)作和溝通，例如共享數(shù)據(jù)、討論、任務(wù)分配等。
2）可以支持對(duì)相關(guān)數(shù)據(jù)進(jìn)行評(píng)論、點(diǎn)贊、打分，增強(qiáng)用戶間的互動(dòng)。
3）可以支持快速發(fā)起一項(xiàng)數(shù)據(jù)標(biāo)準(zhǔn)或?qū)δ骋粩?shù)據(jù)進(jìn)行質(zhì)量檢核。數(shù)據(jù)如水，流動(dòng)起來(lái)才更有活力，門戶的協(xié)同能力不僅能夠加速數(shù)據(jù)的流動(dòng)，更能讓使用它的人進(jìn)行互動(dòng)，實(shí)現(xiàn)了數(shù)據(jù)價(jià)值的躍升！

3、數(shù)據(jù)編織能力數(shù)據(jù)編織能力是指將來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行整合和處理的能力，是一種跨平臺(tái)的數(shù)據(jù)整合方式，它不僅可以集合所有業(yè)務(wù)用戶的信息，還具有靈活且彈性的特點(diǎn)，使得人們可以隨時(shí)隨地使用任何數(shù)據(jù)。它可以將來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行拼接、清理、轉(zhuǎn)換和加工，以形成一致的數(shù)據(jù)視圖和數(shù)據(jù)集。借助這個(gè)能力，企業(yè)可以快速構(gòu)建起來(lái)自己的“邏輯數(shù)據(jù)湖”，即：數(shù)據(jù)在邏輯統(tǒng)一集中、物理不一定統(tǒng)一存儲(chǔ)。

圖片來(lái)源：gartner

作為一種新興的數(shù)據(jù)管理和處理方法，數(shù)據(jù)編織多次被Gartner列為數(shù)據(jù)領(lǐng)域10大關(guān)鍵技術(shù)，它改進(jìn)了數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖的概念，引入了一個(gè)新的架構(gòu)（網(wǎng)絡(luò)狀），通過(guò)知識(shí)圖譜及人工智能算法，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的自動(dòng)編目，可以將位于不同地方的數(shù)據(jù)，統(tǒng)一管理起來(lái)，使整個(gè)企業(yè)能夠統(tǒng)一利用數(shù)據(jù)。這是傳統(tǒng)“手工編目”所做不到的。數(shù)據(jù)編織之所以厲害，是因?yàn)樗褂没诰W(wǎng)絡(luò)的架構(gòu)而不是點(diǎn)對(duì)點(diǎn)的連接來(lái)處理數(shù)據(jù)，實(shí)現(xiàn)了從數(shù)據(jù)源層面到分析、洞察力生成、協(xié)調(diào)和應(yīng)用的一體化數(shù)據(jù)結(jié)構(gòu)。

4、主動(dòng)推送能力
10多年前，“主動(dòng)推送”就是我們Portal產(chǎn)品的一個(gè)主要能力，但那時(shí)候的“主動(dòng)推送”做的還比較笨重，只是通過(guò)需求調(diào)研將不同角色用戶所感興趣的信息、待辦事項(xiàng)、通知消息、統(tǒng)計(jì)數(shù)據(jù)、常用鏈接等相關(guān)信息聚合在一起，形成一個(gè)特定的頁(yè)面，我們稱其為“辦公桌面”。盡管當(dāng)時(shí)還遠(yuǎn)遠(yuǎn)做不到現(xiàn)在的所謂“千人千面”，但這種能力也可以幫助用戶更快地獲取到自己感興趣的信息和他需要處理的事項(xiàng)，提升了用戶體驗(yàn)。

當(dāng)然，現(xiàn)在的推薦算法已經(jīng)非常成熟了。首先，通過(guò)“OneID”實(shí)現(xiàn)用戶身份ID的統(tǒng)一；然后通過(guò)埋點(diǎn)技術(shù)可以收集大量的用戶行為和偏好數(shù)據(jù)；最后根據(jù)用戶的畫像和偏好模型，運(yùn)用機(jī)器學(xué)習(xí)和推薦算法，自動(dòng)推薦相關(guān)的信息和內(nèi)容。數(shù)據(jù)門戶就可以利用這種能力更好的為用戶提供服務(wù)，改變傳統(tǒng)“人找數(shù)據(jù)”的模式，實(shí)現(xiàn)“數(shù)據(jù)找人”，提升用戶粘性和體驗(yàn)。

03 數(shù)據(jù)門戶怎么建？

看完了“數(shù)據(jù)門戶的特征”這一部分內(nèi)容，相信，你對(duì)數(shù)據(jù)門戶應(yīng)該有一定了解和認(rèn)知了，下面說(shuō)一說(shuō)該如何建設(shè)一個(gè)數(shù)據(jù)門戶。其實(shí)，根據(jù)Portal的技術(shù)發(fā)展，實(shí)際上應(yīng)該有兩種建設(shè)方法：一種是上邊我們提到的新型數(shù)據(jù)門戶，一種我們姑且稱之為傳統(tǒng)數(shù)據(jù)門戶。

1、先說(shuō)說(shuō)傳統(tǒng)數(shù)據(jù)門戶怎么建
實(shí)際上，實(shí)施一個(gè)數(shù)據(jù)門戶和做個(gè)數(shù)據(jù)資產(chǎn)管理項(xiàng)目或數(shù)倉(cāng)項(xiàng)目從方法論上講沒(méi)有太大區(qū)別，基本上“三板斧”就搞定。
第一斧：明需求，理數(shù)據(jù)首先是需求調(diào)研，通過(guò)對(duì)企業(yè)內(nèi)部各部門的數(shù)據(jù)需求進(jìn)行調(diào)研和分析，了解各部門的數(shù)據(jù)資產(chǎn)、數(shù)據(jù)訪問(wèn)權(quán)限、數(shù)據(jù)質(zhì)量等情況，明確數(shù)據(jù)共享和使用需求。其次是數(shù)據(jù)盤點(diǎn)，采用“自上而下和自下而上”相結(jié)合的數(shù)據(jù)資產(chǎn)盤點(diǎn)方式，開展對(duì)各部門、各信息系統(tǒng)數(shù)據(jù)的全面盤點(diǎn)，從而摸清楚企業(yè)各類數(shù)據(jù)資產(chǎn)的數(shù)據(jù)體量、存儲(chǔ)位置、歸口部門、主要作用等信息。當(dāng)然，在數(shù)據(jù)盤點(diǎn)過(guò)程中，還涉及數(shù)據(jù)的分類分級(jí)、數(shù)據(jù)資產(chǎn)的確權(quán)認(rèn)責(zé)、數(shù)據(jù)的共享?xiàng)l件、數(shù)據(jù)的管理方式等等問(wèn)題。這里就不一一闡述了。有興趣可以看下之前我寫的這篇文章《企業(yè)數(shù)據(jù)資產(chǎn)到底怎么盤？》
第二斧：采數(shù)據(jù)、編目錄根據(jù)數(shù)據(jù)盤點(diǎn)結(jié)果，完成數(shù)據(jù)資產(chǎn)概要信息的登記，登記的內(nèi)容主要包含三個(gè)方面的數(shù)據(jù)屬性信息。第一，業(yè)務(wù)屬性，例如：數(shù)據(jù)資產(chǎn)名稱，所屬數(shù)據(jù)域，所屬數(shù)據(jù)分類、數(shù)據(jù)資產(chǎn)描述等；第二，技術(shù)屬性，數(shù)據(jù)資產(chǎn)位置（哪個(gè)系統(tǒng)，那張表），數(shù)據(jù)資產(chǎn)類型（結(jié)構(gòu)化數(shù)據(jù)/非結(jié)構(gòu)化數(shù)據(jù)），數(shù)據(jù)資產(chǎn)方式（數(shù)據(jù)庫(kù)/文件/API接口）等；第三，管理屬性，數(shù)據(jù)資產(chǎn)所有者（歸口部門）,數(shù)據(jù)資產(chǎn)管理員，數(shù)據(jù)資產(chǎn)上架時(shí)間，數(shù)據(jù)資產(chǎn)共享?xiàng)l件等。數(shù)據(jù)資產(chǎn)登記的過(guò)程，其實(shí)就是我們所說(shuō)的數(shù)據(jù)編目，這個(gè)過(guò)程通過(guò)人工和自動(dòng)化手段完成。依據(jù)筆者的觀察，目前國(guó)內(nèi)市場(chǎng)的大部分?jǐn)?shù)據(jù)管理系統(tǒng)的數(shù)據(jù)編目大多數(shù)還是手動(dòng)編目的方式，而借助AI算法、機(jī)器學(xué)習(xí)、知識(shí)圖譜進(jìn)行自動(dòng)化編目的產(chǎn)品更多的還停留在概念或研制階段，只有個(gè)別產(chǎn)品用來(lái)輔助人工編目。

第三斧：建共享，促應(yīng)用數(shù)據(jù)目錄提供了數(shù)據(jù)訪問(wèn)權(quán)限管理和控制能力，確保數(shù)據(jù)的安全性和合規(guī)性，同時(shí)也要考慮數(shù)據(jù)的共享和開放，而數(shù)據(jù)門戶為數(shù)據(jù)的開放共享提供了“一扇窗”。

數(shù)據(jù)共享：數(shù)據(jù)門戶提供了數(shù)據(jù)的查詢服務(wù)，可以根據(jù)“關(guān)鍵字”實(shí)現(xiàn)對(duì)相關(guān)數(shù)據(jù)的全文檢索；數(shù)據(jù)門戶提供了數(shù)據(jù)推薦能力，可根據(jù)用戶角色/崗位進(jìn)行對(duì)相關(guān)數(shù)據(jù)資產(chǎn)進(jìn)行推薦，以促進(jìn)數(shù)據(jù)資產(chǎn)的共享和使用。

數(shù)據(jù)應(yīng)用：數(shù)據(jù)門戶聚合了各種數(shù)據(jù)查詢、探查、建模和分析的工具，以及這些功能的使用手冊(cè)、幫助說(shuō)明以及實(shí)操視頻，掌握工具的使用可以讓數(shù)據(jù)分析和應(yīng)用事半功倍。數(shù)據(jù)門戶提供了對(duì)數(shù)據(jù)使用情況的統(tǒng)計(jì)分析，可以從組織、部門、用戶、數(shù)據(jù)分類等多個(gè)維度對(duì)數(shù)據(jù)的使用情況進(jìn)行分析，支持企業(yè)設(shè)置數(shù)據(jù)使用情況統(tǒng)計(jì)指標(biāo)，以推動(dòng)數(shù)據(jù)的使用。
2、新型數(shù)據(jù)門戶怎么建？
新型數(shù)據(jù)門戶和傳統(tǒng)門戶的建設(shè)方法基本上沒(méi)有太大差別。新型數(shù)據(jù)門戶更多是將Portal技術(shù)和AI技術(shù)相結(jié)合，為用戶提供更加智能的應(yīng)用場(chǎng)景。例如：利用AI技術(shù)增強(qiáng)數(shù)據(jù)門戶的聚合能力，數(shù)據(jù)自動(dòng)匯聚、自動(dòng)編目，自動(dòng)更新；利用AI技術(shù)增強(qiáng)數(shù)據(jù)門戶的協(xié)同能力，試想一下：如果我們的數(shù)據(jù)門戶中引入了ChatGPT-4會(huì)發(fā)生什么？利用AI技術(shù)增強(qiáng)數(shù)據(jù)門戶的推薦能力，根據(jù)個(gè)人偏好主動(dòng)推送相關(guān)數(shù)據(jù)，實(shí)現(xiàn)“千人千面”；利用AI技術(shù)增強(qiáng)對(duì)數(shù)據(jù)的管理和處理能力，讓更多的數(shù)據(jù)資源轉(zhuǎn)化的數(shù)據(jù)資產(chǎn)，讓數(shù)據(jù)門戶更有價(jià)值；利用AI技術(shù)增強(qiáng)對(duì)數(shù)據(jù)的挖掘和應(yīng)用能力，為不同用戶直觀展示其關(guān)心的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)。

可能有人會(huì)說(shuō)，后邊的兩條是對(duì)數(shù)據(jù)本身能力的增強(qiáng)，而不是對(duì)數(shù)據(jù)門戶能力的增強(qiáng)。這其實(shí)并不沖突，我們通過(guò)門戶去共享數(shù)據(jù)資產(chǎn)、展示分析圖表、溝通數(shù)據(jù)問(wèn)題，如果有數(shù)據(jù)不知道怎么用或者數(shù)據(jù)質(zhì)量有問(wèn)題，挖掘不出數(shù)據(jù)的價(jià)值。那么，數(shù)據(jù)門戶也就失去了它的意義了！

04?寫在最后的話

AI、門戶、治理是相互協(xié)同、互為補(bǔ)充的。通過(guò)治理提升了數(shù)據(jù)質(zhì)量，AI的加持增強(qiáng)了分析和治理能力，然后在“門戶”中進(jìn)行智能化推薦、個(gè)性化展示、互動(dòng)和協(xié)作，門戶為 “讓數(shù)據(jù)用起來(lái)” 提供了一個(gè)入口、一閃窗！AI之于數(shù)據(jù)，有太多的想象空間啦。未來(lái)會(huì)究竟發(fā)生什么，我們不得而知，但一定可期。