? ? ? ??站在“企業(yè)數(shù)字化轉(zhuǎn)型”這個(gè)時(shí)代浪尖上，我相信，數(shù)據(jù)領(lǐng)域乃至整個(gè)IT界“數(shù)據(jù)治理”這個(gè)詞應(yīng)無(wú)人不知、無(wú)人不曉了吧？如果你身邊還有沒(méi)聽(tīng)過(guò)“數(shù)據(jù)治理的，趕緊把咱們的公眾號(hào)【談數(shù)據(jù)】的名片推給他，哈哈~

關(guān)于企業(yè)數(shù)字化轉(zhuǎn)型為什么要做數(shù)據(jù)治理，我在文章《數(shù)據(jù)戰(zhàn)略的8個(gè)要素》一文中曾提到，原因無(wú)外乎兩個(gè)：“一是無(wú)數(shù)據(jù)可用，二是無(wú)可用數(shù)據(jù)。”

一方面，“數(shù)”到用時(shí)方恨少。在一些傳統(tǒng)企業(yè)，IT一直被認(rèn)為是支撐性職能，從來(lái)沒(méi)有將數(shù)據(jù)作為一個(gè)重要生產(chǎn)要素去看待。在以往的信息化建設(shè)過(guò)程中，都是“以流程為驅(qū)動(dòng)，以線上化、自動(dòng)化為目標(biāo)”，數(shù)據(jù)思維和數(shù)據(jù)意識(shí)淡薄，沒(méi)有將精力放在數(shù)據(jù)的收集、整理和處理上，導(dǎo)致“無(wú)數(shù)據(jù)可用”。

另一方面，事因經(jīng)過(guò)始知難。每個(gè)企業(yè)都希望將數(shù)據(jù)用起來(lái)，用它來(lái)驅(qū)動(dòng)企業(yè)的決策和管理，實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。但是，數(shù)據(jù)分散在各個(gè)信息孤島中，缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，彼此之間無(wú)法很好地通信，數(shù)據(jù)質(zhì)量低下，不一致、不完整、不準(zhǔn)確、不及時(shí)等問(wèn)題常見(jiàn)，導(dǎo)致了“Garbage in, Garbage out”。有數(shù)據(jù)卻無(wú)可用的數(shù)據(jù)，你說(shuō)氣人不？！

今天我們展開(kāi)這個(gè)話題，詳細(xì)聊一聊如何解決以上這兩個(gè)問(wèn)題。今天聊的話題中涉及一個(gè)新的名詞—“養(yǎng)數(shù)據(jù)”。

? ? ? ??— 01 —“養(yǎng)數(shù)據(jù)”的內(nèi)涵

? ? ? ??“養(yǎng)數(shù)據(jù)”其實(shí)也算不上是一個(gè)新詞兒了，車品覺(jué)老師的《決戰(zhàn)大數(shù)據(jù)》（2014年出版）一書(shū)中就曾提到：“主動(dòng)收集數(shù)據(jù)的行為即為養(yǎng)數(shù)據(jù)”。

? ? ? ??筆者認(rèn)為“養(yǎng)數(shù)據(jù)”不僅在數(shù)據(jù)收集上，而是應(yīng)貫穿在數(shù)據(jù)的收集、處理和使用的全生命周期中。養(yǎng)數(shù)據(jù)就如同“養(yǎng)貓、養(yǎng)狗、養(yǎng)孩子”一樣，需要持續(xù)地投入。“養(yǎng)”有兩個(gè)層面的含義，一是要將數(shù)據(jù)“養(yǎng)大”，收集、積累和沉淀大量的數(shù)據(jù)；二是要將數(shù)據(jù)“養(yǎng)活”，提升數(shù)據(jù)的“活性”，讓數(shù)據(jù)易用、好用！

? ? ? ??1、養(yǎng)“大”數(shù)據(jù)

? ? ? ??養(yǎng)“大”數(shù)據(jù)，就是收集、積累和沉淀大量的數(shù)據(jù)，讓企業(yè)有數(shù)據(jù)可用。這里有個(gè)誤區(qū)，究竟數(shù)據(jù)養(yǎng)多大才算是“大”？其實(shí)，養(yǎng)“大”數(shù)據(jù)不在于收集的數(shù)據(jù)體量有多大，更重要的是能夠?yàn)槠髽I(yè)帶來(lái)多大的潛在價(jià)值！

? ? ? ??2014年大數(shù)據(jù)正如火如荼的時(shí)候，我們接到一個(gè)大數(shù)據(jù)項(xiàng)目，客戶的要求是將所有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)全部接入到大數(shù)據(jù)平臺(tái)，具體為什么要收集這些數(shù)據(jù)，要這些數(shù)據(jù)干什么？這些問(wèn)題客戶并沒(méi)有想好。按照當(dāng)時(shí)客戶的思路是：大數(shù)據(jù)一定是有價(jià)值的，雖然我們現(xiàn)在不知道怎么用它，但我們現(xiàn)在把它收集起來(lái)，說(shuō)不定將來(lái)的哪一天就能用到了。后來(lái)，數(shù)據(jù)收集的越來(lái)越多，管理的成本越來(lái)越大，但實(shí)際上卻沒(méi)有使用起來(lái)，雖然該項(xiàng)目最終成功驗(yàn)收了，但在我看來(lái)，這個(gè)項(xiàng)目不算是一個(gè)成功的項(xiàng)目，因?yàn)樗鼪](méi)有給客戶真正帶來(lái)價(jià)值。

? ? ? ??沒(méi)有目標(biāo)的收集數(shù)據(jù)，就只是單純的收集數(shù)據(jù)，并不是“養(yǎng)數(shù)據(jù)”。“養(yǎng)數(shù)據(jù)”是需要帶有明確的目的性的，因?yàn)閿?shù)據(jù)是枯燥的，數(shù)據(jù)也不會(huì)自己說(shuō)話，需要人運(yùn)用適當(dāng)?shù)姆椒◤倪@些枯燥的數(shù)據(jù)中提取有價(jià)值的信息。因此，“養(yǎng)數(shù)據(jù)”的過(guò)程，需要對(duì)數(shù)據(jù)收集的內(nèi)容、渠道、方法進(jìn)行策劃，以確保通過(guò)正確的方法收集正確的數(shù)據(jù)，進(jìn)而確保數(shù)據(jù)分析過(guò)程是有效的。

? ? ? ??2、養(yǎng)“活”數(shù)據(jù)

? ? ? ??養(yǎng)“活”數(shù)據(jù)，提升數(shù)據(jù)的“活性”和質(zhì)量，打通數(shù)據(jù)孤島，實(shí)現(xiàn)數(shù)據(jù)交換共享，讓企業(yè)有可用數(shù)據(jù)。盲目的收集數(shù)據(jù)并不能讓數(shù)據(jù)“活”起來(lái)，所收集的數(shù)據(jù)都是“死數(shù)據(jù)”。所謂“死數(shù)據(jù)”也叫“暗數(shù)據(jù)”，指那些企業(yè)在日常業(yè)務(wù)活動(dòng)中收集、處理和存儲(chǔ)，但未被發(fā)掘或理解、不具備特定用途的數(shù)據(jù)。

? ? ? ??我們上文講過(guò)“數(shù)據(jù)收集要有目的性”，這沒(méi)錯(cuò)。但在實(shí)際的數(shù)據(jù)收集的過(guò)程中，很多情況下我們并不能直接收集到所需的關(guān)鍵數(shù)據(jù)，這就要求企業(yè)不僅要“活”做數(shù)據(jù)收集，還要“活”做數(shù)據(jù)管理，提升數(shù)據(jù)質(zhì)量并以避免“死數(shù)據(jù)/暗數(shù)據(jù)”的發(fā)生。“活”做數(shù)據(jù)收集是針對(duì)不同的數(shù)據(jù)類型、不同的應(yīng)用場(chǎng)景，采用不同的數(shù)據(jù)收集方法進(jìn)行靈活收集數(shù)據(jù)。“活”做數(shù)據(jù)管理的重點(diǎn)是建立靈活的數(shù)據(jù)管理和共享機(jī)制，讓合適的人在合適的時(shí)間能夠獲得合適的數(shù)據(jù)。

? ? ? ??— 02 —企業(yè)數(shù)據(jù)到底怎么“養(yǎng)”？

? ? ? ??介紹了養(yǎng)數(shù)據(jù)的概念，可能很多人更加關(guān)心到底該如何“養(yǎng)數(shù)據(jù)”。個(gè)人認(rèn)為企業(yè)要養(yǎng)好數(shù)據(jù)，得從以下5個(gè)方面入手。

? ? ? ??1、將“養(yǎng)數(shù)據(jù)”作為一種戰(zhàn)略

? ? ? ??關(guān)于數(shù)據(jù)如何賦能數(shù)字化轉(zhuǎn)型，大家談的更多的是數(shù)據(jù)分析、數(shù)據(jù)挖掘、模型、算法、可視化、報(bào)表、儀表板、大屏等數(shù)據(jù)應(yīng)用相關(guān)內(nèi)容，我們把這些內(nèi)容都可以稱為“用數(shù)據(jù)”。但是，“巧婦難為無(wú)米之炊”，如果企業(yè)“無(wú)數(shù)據(jù)可用”，那模型再?gòu)?qiáng)大、算法再完美、界面再漂亮，可能也無(wú)濟(jì)于事。

? ? ? ??“用數(shù)據(jù)”需要的是技術(shù)、方法和工具，而“養(yǎng)數(shù)據(jù)”一定從戰(zhàn)略思維開(kāi)始。只有將數(shù)據(jù)不斷“養(yǎng)大、養(yǎng)活”數(shù)據(jù)的價(jià)值才能被激發(fā)和釋放。正如車品覺(jué)老師所說(shuō)“養(yǎng)數(shù)據(jù)是一種數(shù)據(jù)戰(zhàn)略，是基于深入業(yè)務(wù)理解的更高層次的商業(yè)決策，數(shù)據(jù)養(yǎng)的時(shí)間越早，積累的數(shù)據(jù)也就越多。”

? ? ? ??2、從收集數(shù)據(jù)開(kāi)始，將數(shù)據(jù)“養(yǎng)大”

? ? ? ??保證企業(yè)“有數(shù)據(jù)可用”，從有效和正確的收集數(shù)據(jù)開(kāi)始，數(shù)據(jù)收集越早，積累的越多，能夠帶來(lái)的潛在價(jià)值就越大。

? ? ? ??人們普遍認(rèn)為數(shù)據(jù)收集就是需要將來(lái)自不同來(lái)源系統(tǒng)的數(shù)據(jù)復(fù)制或遷移到一個(gè)中央數(shù)據(jù)存儲(chǔ)庫(kù)中（例如如數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)湖），進(jìn)行統(tǒng)一管理。但這只是數(shù)據(jù)收集的一個(gè)環(huán)節(jié)而已，并不是數(shù)據(jù)收集的全過(guò)程。不同的行業(yè)、不同的業(yè)務(wù)場(chǎng)景、不同的數(shù)據(jù)類型，所需要的數(shù)據(jù)收集流程也不一樣，核心的流程總體可以歸納如下：

? ? ? ??①確定收集需求，數(shù)據(jù)收集一定是為業(yè)務(wù)需求服務(wù)的，不能盲目收集，數(shù)據(jù)收集到“最小夠用”即可。沒(méi)有目標(biāo)的盲目收集，不僅可能造成成本的浪費(fèi)，還可能引發(fā)“合規(guī)性”的風(fēng)險(xiǎn)（例如違反個(gè)人信息保護(hù)法）。

? ? ? ??②確定數(shù)據(jù)源，明確要從哪里獲取數(shù)據(jù)，例如：企業(yè)內(nèi)部還是外部數(shù)據(jù)。

? ? ? ??③確定收集方式，針對(duì)不同數(shù)據(jù)應(yīng)用需求和數(shù)據(jù)源類型選擇相應(yīng)的數(shù)據(jù)采集方式，例如：表單采集、報(bào)表采集、庫(kù)表批采、文件采集、消息采集、流式采集、爬蟲(chóng)采集、埋點(diǎn)采集等。

? ? ? ??④執(zhí)行數(shù)據(jù)收集。在收集非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)過(guò)程中利用圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等AI技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理，并提供統(tǒng)一的元數(shù)據(jù)查詢，是解決“無(wú)數(shù)據(jù)可用”的一個(gè)重要解決方案。遺憾的是，這些技術(shù)還處于探索階段，還未形成普及化的產(chǎn)品和應(yīng)用。

? ? ? ??⑤分析驗(yàn)證，驗(yàn)證收集的數(shù)據(jù)是否有效，是否能夠滿足業(yè)務(wù)所需。

? ? ? ??⑥數(shù)據(jù)入湖，將收集/采集的數(shù)據(jù)存入中央數(shù)據(jù)存儲(chǔ)庫(kù)中（數(shù)據(jù)湖或數(shù)據(jù)倉(cāng)庫(kù)）。

? ? ? ??3、靈活的數(shù)據(jù)管理機(jī)制，將數(shù)據(jù)“養(yǎng)活”

? ? ? ??盡管我們明確了數(shù)據(jù)需求，定義了數(shù)據(jù)源，但也并不是每個(gè)收集來(lái)的數(shù)據(jù)對(duì)企業(yè)都是有價(jià)值的。在數(shù)據(jù)收集來(lái)之后，數(shù)據(jù)分析之前，所有數(shù)據(jù)都必須經(jīng)過(guò)統(tǒng)一組織和管理，包括數(shù)據(jù)的清洗、編目、整合和治理，“盤(pán)活”數(shù)據(jù)，讓數(shù)據(jù)能夠被“看得見(jiàn)、找得到、用得好”，提升數(shù)據(jù)的價(jià)值。

? ? ? ??①數(shù)據(jù)處理。對(duì)收集來(lái)的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行轉(zhuǎn)換和整理，確保數(shù)據(jù)正確、有效、可用和安全。統(tǒng)一提取這些數(shù)據(jù)的元數(shù)據(jù)并進(jìn)行存儲(chǔ)和管理，并補(bǔ)齊關(guān)鍵元數(shù)據(jù)，使其具備可識(shí)別性。

? ? ? ??②數(shù)據(jù)編目。數(shù)據(jù)編目就是為數(shù)據(jù)建立一個(gè)目錄，并向用戶提供獲取數(shù)據(jù)可訪問(wèn)性、健康和位置等內(nèi)容所需的必要信息。編目的方式有手工編目和自動(dòng)編目，主要涉及數(shù)據(jù)的識(shí)別、編目和發(fā)現(xiàn)。隨著機(jī)器學(xué)習(xí)、人工智能等技術(shù)的應(yīng)用，增強(qiáng)了企業(yè)數(shù)據(jù)管理的能力，讓編目工作越來(lái)越自動(dòng)化。

? ? ? ??③數(shù)據(jù)服務(wù)。基于數(shù)據(jù)目錄開(kāi)發(fā)和發(fā)布數(shù)據(jù)服務(wù)，控制訪問(wèn)權(quán)限，讓合適的用戶在合適的時(shí)間找到合適的數(shù)據(jù)，并監(jiān)控?cái)?shù)據(jù)服務(wù)的使用情況，以便根據(jù)數(shù)據(jù)的質(zhì)量和使用情況，對(duì)相關(guān)數(shù)據(jù)及時(shí)作出反饋和調(diào)整。

? ? ? ??4、數(shù)據(jù)來(lái)源于業(yè)務(wù)，最終還是要回歸業(yè)務(wù)

? ? ? ??在企業(yè)數(shù)字化轉(zhuǎn)型的路上，必須牢記的一個(gè)原則是“數(shù)據(jù)來(lái)源于業(yè)務(wù)，且必須回歸于業(yè)務(wù)”，我們將數(shù)據(jù)“養(yǎng)大”、“養(yǎng)活”不是目的，而是過(guò)程，“養(yǎng)數(shù)據(jù)”的本質(zhì)目的還是要讓數(shù)據(jù)能夠?qū)ζ髽I(yè)的業(yè)務(wù)起到更好的驅(qū)動(dòng)或支撐作用。

? ? ? ??① 數(shù)據(jù)是由業(yè)務(wù)產(chǎn)生的，從業(yè)務(wù)規(guī)劃和設(shè)計(jì)之初，就要做好“養(yǎng)數(shù)據(jù)”的準(zhǔn)備。大到整體的企業(yè)架構(gòu)規(guī)劃，小到一個(gè)業(yè)務(wù)模塊的流程、表單和操作設(shè)計(jì)，都需要考慮如何才能收集到完整、準(zhǔn)確、真實(shí)的數(shù)據(jù)，做好與之對(duì)應(yīng)的數(shù)據(jù)規(guī)劃，例如：數(shù)據(jù)架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)分布、數(shù)據(jù)流向等。

? ? ? ??②“養(yǎng)數(shù)據(jù)千日，用數(shù)據(jù)一時(shí)”，將“養(yǎng)數(shù)據(jù)”作為企業(yè)的一種習(xí)慣，一種文化，企業(yè)的數(shù)據(jù)戰(zhàn)略才能真正落地。同時(shí)，只養(yǎng)好數(shù)據(jù)還不夠，還需要培養(yǎng)“數(shù)據(jù)化思維”，堅(jiān)持“用數(shù)據(jù)說(shuō)話、用數(shù)據(jù)管理、用數(shù)據(jù)決策”，將數(shù)據(jù)應(yīng)用在日常工作中。

? ? ? ??③養(yǎng)數(shù)據(jù)、用數(shù)據(jù)、流程優(yōu)化，是一個(gè)相互作用，互為驅(qū)動(dòng)的關(guān)系。企業(yè)業(yè)務(wù)是經(jīng)常變化的，因此“養(yǎng)數(shù)據(jù)、用數(shù)據(jù)”的過(guò)程也需要隨著業(yè)務(wù)的變化而進(jìn)行調(diào)整。另一方面，數(shù)據(jù)的分析、挖掘和應(yīng)用，也會(huì)發(fā)現(xiàn)業(yè)務(wù)的一些問(wèn)題、不足或機(jī)會(huì)，這時(shí)候企業(yè)就需要對(duì)業(yè)務(wù)流程進(jìn)行調(diào)整、優(yōu)化，甚至重構(gòu)。

? ? ? ??— 03 —治數(shù) VS 養(yǎng)數(shù)，哪個(gè)棋高一招？

? ? ? ??這是一個(gè)偽命題，如果你看過(guò)我之前的數(shù)據(jù)治理文章，也不難得出這個(gè)結(jié)論：治數(shù)與養(yǎng)數(shù)并沒(méi)有高低之分，養(yǎng)數(shù)據(jù)也是一種數(shù)據(jù)治理的策略，而數(shù)據(jù)治理以全面的視角，為養(yǎng)數(shù)據(jù)提供保障。本質(zhì)上，養(yǎng)數(shù)據(jù)即為數(shù)據(jù)治理，數(shù)據(jù)治理也是養(yǎng)數(shù)據(jù)！

? ? ? ??1、狹義理解：養(yǎng)數(shù)據(jù)過(guò)程的治數(shù)

? ? ? ??上文我們說(shuō)過(guò)，養(yǎng)數(shù)據(jù)就像養(yǎng)小孩一樣，需要持續(xù)投入，以使其茁壯成長(zhǎng)。但這個(gè)過(guò)程并不容易，有孩子的讀者一定深有體會(huì)，孩子生病即使只是最為普通的感冒，也會(huì)讓父母操碎了心。

養(yǎng)數(shù)據(jù)的過(guò)程也一樣，你的數(shù)據(jù)寶寶也是會(huì)經(jīng)常“生病”的，例如：

? ? ? ??請(qǐng)參考《數(shù)據(jù)治理的成功要素3：治理的時(shí)機(jī)和切入點(diǎn)》

? ? ? ??生了病就得治，早治早好！

? ? ? ??這里的“治”主要是針對(duì)數(shù)據(jù)問(wèn)題的“癥狀”進(jìn)行治理，是狹義層面的治理，以解決實(shí)際數(shù)據(jù)問(wèn)題為主，常見(jiàn)的治理手段包括：主數(shù)據(jù)管理，元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理等。

? ? ? ??2、廣義理解：養(yǎng)數(shù)據(jù)過(guò)程的治數(shù)

? ? ? ??“養(yǎng)數(shù)據(jù)”是企業(yè)的數(shù)據(jù)戰(zhàn)略，一定從戰(zhàn)略思維開(kāi)始，不僅包含了數(shù)據(jù)收集和管理的各種技術(shù)、方法和工具，更包含了數(shù)據(jù)管理的組織、制度和流程。在我的新書(shū)《一本書(shū)講透數(shù)據(jù)治理：戰(zhàn)略、方法、工具與實(shí)踐》（下附購(gòu)買(mǎi)鏈接）中，將數(shù)據(jù)治理分為了“道、法、術(shù)、器”四個(gè)層面，其中：數(shù)據(jù)治理之道即涉及數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)組織、數(shù)據(jù)文化；數(shù)據(jù)治理之法則主要講解組織實(shí)施數(shù)據(jù)治理的方法論；數(shù)據(jù)治理之術(shù)主要對(duì)數(shù)據(jù)治理用到的技術(shù)進(jìn)行了說(shuō)明；數(shù)據(jù)治理之器即為數(shù)據(jù)治理/管理常用的工具/系統(tǒng)。

? ? ? ??因此，從廣義上理解，養(yǎng)數(shù)據(jù)的過(guò)程就是數(shù)據(jù)治理，數(shù)據(jù)治理也是養(yǎng)數(shù)據(jù)！