對于高影響力數(shù)據(jù)治理團(tuán)隊(duì)來說，最好的比喻就是一個(gè)運(yùn)轉(zhuǎn)良好的廚房。他們幫助保持廚房清潔，確保所有刀具都鋒利，所有東西都擺放在正確的位置。這讓廚師工作得更快，錯(cuò)誤更少，并防止食品衛(wèi)生評級不佳。

但數(shù)據(jù)治理團(tuán)隊(duì)正在走一條微妙的路。如果他們不小心，這些舉措可能看起來像是額外的開銷，引入的政策和流程對業(yè)務(wù)影響不大。

在本文中，我們將探討高影響力數(shù)據(jù)治理團(tuán)隊(duì)?wèi)?yīng)該關(guān)注的領(lǐng)域以及他們可以采取的具體步驟。

雖然對于數(shù)據(jù)治理團(tuán)隊(duì)的工作方式?jīng)]有一刀切的解決方案，但這些關(guān)鍵主題仍然是大多數(shù)頂級公司的職位要求。

使數(shù)據(jù)在整個(gè)組織內(nèi)可用

密切關(guān)注數(shù)據(jù)質(zhì)量，幫助系統(tǒng)地改善最重要的事項(xiàng)

通過所有權(quán)模式確保責(zé)任明確

管理風(fēng)險(xiǎn)、隱私和法規(guī)遵從性

使數(shù)據(jù)在整個(gè)組織內(nèi)可用

問題很少是數(shù)據(jù)不足。問題在于現(xiàn)有數(shù)據(jù)未被使用或人們無法找到它。隨著組織的發(fā)展，創(chuàng)建的數(shù)據(jù)量顯著增加。隨著時(shí)間的推移，這會帶來多種后果。

對同一指標(biāo)的多種定義可能會導(dǎo)致人們對數(shù)據(jù)失去信任或得出不同的結(jié)論。

存在多個(gè)儀表板或表格，解決相同的問題并導(dǎo)致重復(fù)工作和不太可用的數(shù)據(jù)堆棧。

儀表板會隨著時(shí)間的推移而“腐爛”，而利益相關(guān)者卻并未意識到。

數(shù)據(jù)堆棧爆炸式增長，使得發(fā)現(xiàn)變得困難并增加了不必要的數(shù)據(jù)平臺成本。

這個(gè)過程緩慢發(fā)生，然后突然發(fā)生。

各個(gè)團(tuán)隊(duì)為解決這個(gè)問題而做出的零星努力很少能奏效。數(shù)據(jù)治理團(tuán)隊(duì)具有獨(dú)特的優(yōu)勢，可以幫助實(shí)現(xiàn)標(biāo)準(zhǔn)化并推動這一進(jìn)程。

1、記錄關(guān)鍵數(shù)據(jù)資產(chǎn)

數(shù)據(jù)治理團(tuán)隊(duì)?wèi)?yīng)設(shè)定并執(zhí)行對數(shù)據(jù)文檔的期望，以免它成為事后的想法。例如：

強(qiáng)制在數(shù)據(jù)目錄中完成文檔，以在團(tuán)隊(duì)之間創(chuàng)建一致的方法。

設(shè)定期望，即應(yīng)該對所有“黃金”標(biāo)準(zhǔn)表進(jìn)行記錄，但“青銅”和“白銀”是可選的。

給出有據(jù)可查的表格或字段的清晰示例（例如，寫為“由SalesForce標(biāo)識符定義的客戶的用戶ID”，而不是“客戶的用戶ID”）。

2、確保關(guān)鍵指標(biāo)定義一致

在達(dá)到一定規(guī)模后，您不可避免地會遇到對同一指標(biāo)的不同定義。雖然基礎(chǔ)數(shù)據(jù)可能沒有錯(cuò)，但這會導(dǎo)致決策速度變慢，并導(dǎo)致開會時(shí)花費(fèi)大量時(shí)間討論指標(biāo)是否正確，而不是討論如何解決。

數(shù)據(jù)治理團(tuán)隊(duì)?wèi)?yīng)制定明確的指導(dǎo)方針。其中一條指導(dǎo)方針可能是：“關(guān)鍵指標(biāo)應(yīng)在dbt中定義，而不是在BI工具中的計(jì)算字段中定義，以提高可見性并進(jìn)行版本控制?！绷硪粭l指導(dǎo)方針可能是，關(guān)鍵指標(biāo)應(yīng)包括RAG（紅色、琥珀色、綠色）閾值及其指標(biāo)定義，以將它們保存在一個(gè)地方。這還有一個(gè)額外的好處，就是允許您在閾值被突破時(shí)向相關(guān)利益相關(guān)者設(shè)置自動警報(bào)。

數(shù)據(jù)治理團(tuán)隊(duì)?wèi)?yīng)查找同一指標(biāo)的多種定義，并鼓勵(lì)團(tuán)隊(duì)在發(fā)現(xiàn)多種定義時(shí)合并指標(biāo)。最好的方法是定期評估關(guān)鍵儀表板、Slack頻道和其他使用KPI的地方。

3、確保數(shù)據(jù)可發(fā)現(xiàn)

如果您的數(shù)據(jù)消費(fèi)者（無論是數(shù)據(jù)團(tuán)隊(duì)內(nèi)部還是外部）都找不到他們的數(shù)據(jù)，那么數(shù)據(jù)可能就不存在了。如果找到您需要的數(shù)據(jù)就像大海撈針，那么解決方案的一部分可能是更新您的工具集并引入數(shù)據(jù)目錄以使所有數(shù)據(jù)資產(chǎn)都可以被發(fā)現(xiàn)。但是，如果您沒有先掌握基礎(chǔ)知識，那么任何工具都無濟(jì)于事。

數(shù)據(jù)治理團(tuán)隊(duì)?wèi)?yīng)執(zhí)行簡單但標(biāo)準(zhǔn)化的約定。例如，數(shù)據(jù)資產(chǎn)的明確命名約定，如儀表板的“??產(chǎn)品A/B測試跟蹤[商業(yè)銀行]”，以明確儀表板至關(guān)重要(??)以及它屬于哪些領(lǐng)域（商業(yè)銀行）。

我們建議將其盡可能靠近數(shù)據(jù)所在位置。如果您使用Looker之類的BI工具，大多數(shù)數(shù)據(jù)消費(fèi)者都會在這里使用數(shù)據(jù)。創(chuàng)建一個(gè)結(jié)構(gòu)良好的“主頁”，您可以在其中深入了解每個(gè)域，并提供指向最重要儀表板的鏈接，這是組織儀表板并確保每個(gè)人都能找到它們的好方法。

4、增強(qiáng)儀表板的可用性

無論你喜歡與否，無論你創(chuàng)建的數(shù)據(jù)模型和管道多么花哨，利益相關(guān)者使用儀表板數(shù)據(jù)的體驗(yàn)都會嚴(yán)重影響他們對數(shù)據(jù)和團(tuán)隊(duì)產(chǎn)出的看法。你應(yīng)該像對待產(chǎn)品一樣對待儀表板，強(qiáng)化其外觀、感覺、一致性和性能。

5、刪除不必要的數(shù)據(jù)資產(chǎn)

數(shù)據(jù)資產(chǎn)蔓延是數(shù)據(jù)隨著時(shí)間的推移變得無法使用的主要原因之一。清理數(shù)據(jù)堆棧最有效的舉措是擺脫不需要的數(shù)據(jù)資產(chǎn)。雖然沒有對不需要的數(shù)據(jù)資產(chǎn)的明確定義，但你可以留意以下跡象

使用率較低的儀表板

與其他儀表板有很大重疊的儀表板

沒有下游依賴的數(shù)據(jù)模型

數(shù)據(jù)模型中未在下游使用的列

清理臃腫的數(shù)據(jù)堆棧并非易事，如果可能的話，您應(yīng)該持續(xù)投入精力清理未使用的表格、數(shù)據(jù)模型、列和儀表板。然而，許多正在擴(kuò)張的公司發(fā)現(xiàn)自己處于劣勢，只有在擁有數(shù)千個(gè)數(shù)據(jù)模型和儀表板后才會解決這個(gè)問題。

6、定義哪些數(shù)據(jù)重要

隨著規(guī)模的擴(kuò)大，無論數(shù)據(jù)治理團(tuán)隊(duì)的意圖有多好，都無法在組織內(nèi)的所有數(shù)據(jù)上強(qiáng)制實(shí)施高可用性。數(shù)據(jù)治理團(tuán)隊(duì)需要明確定義數(shù)據(jù)關(guān)鍵性及其影響。例如，使用“銅、銀、金”模型，并決定只有銀和金才應(yīng)符合文檔標(biāo)準(zhǔn)。

7、密切關(guān)注數(shù)據(jù)質(zhì)量，幫助系統(tǒng)地改善最重要的事項(xiàng)

數(shù)據(jù)質(zhì)量一直被列為數(shù)據(jù)團(tuán)隊(duì)面臨的最大挑戰(zhàn)。dbt最近向數(shù)千名數(shù)據(jù)從業(yè)者詢問了他們面臨的最大挑戰(zhàn)，結(jié)果顯示，數(shù)據(jù)質(zhì)量差以57%的得票率位居榜首。

這是有充分理由的。數(shù)據(jù)質(zhì)量差會導(dǎo)致決策錯(cuò)誤、系統(tǒng)故障，并削弱對數(shù)據(jù)的信任。

幸運(yùn)的是，大多數(shù)數(shù)據(jù)從業(yè)者已經(jīng)習(xí)慣了將經(jīng)過充分測試的數(shù)據(jù)作為開發(fā)數(shù)據(jù)資產(chǎn)的一部分。這對于單個(gè)資產(chǎn)來說很有效，但很大程度上取決于個(gè)人的解釋。我們建議數(shù)據(jù)治理團(tuán)隊(duì)系統(tǒng)地對關(guān)鍵維度（例如所有者域和關(guān)鍵性）的數(shù)據(jù)質(zhì)量進(jìn)行基準(zhǔn)測試。

數(shù)據(jù)質(zhì)量報(bào)告

報(bào)告數(shù)據(jù)質(zhì)量的原因有很多，但要求每個(gè)團(tuán)隊(duì)定義自己的指標(biāo)肯定會造成混亂。持續(xù)測量和傳達(dá)數(shù)據(jù)質(zhì)量可以帶來多種業(yè)務(wù)成果：

通過突出問題區(qū)域，讓分布式團(tuán)隊(duì)掌握數(shù)據(jù)質(zhì)量

在利益相關(guān)者多次詢問數(shù)據(jù)質(zhì)量是否低下后，他們表現(xiàn)出信心

向監(jiān)管機(jī)構(gòu)展示你對數(shù)據(jù)質(zhì)量的把控

與工程師共享您已承諾遵守SLA的數(shù)據(jù)產(chǎn)品的系統(tǒng)正常運(yùn)行時(shí)間

正常運(yùn)行時(shí)間——每次運(yùn)行時(shí)，現(xiàn)有控制措施成功通過的百分比是多少

覆蓋率——有多少比例的數(shù)據(jù)資產(chǎn)已實(shí)施所需的控制措施

將質(zhì)量指標(biāo)分組到語義相似的領(lǐng)域，可以讓您以更貼近業(yè)務(wù)用例的方式討論數(shù)據(jù)質(zhì)量。(1)及時(shí)性–數(shù)據(jù)是否根據(jù)與業(yè)務(wù)商定的SLA保持最新和最新狀態(tài)，(2)正確性–所有數(shù)據(jù)是否可用，(3)完整性–數(shù)據(jù)在語義上是否正確，(4)一致性–可用數(shù)據(jù)是否在各個(gè)系統(tǒng)中一致。我們還建議明確定義哪些指標(biāo)是“差”、“還行”或“好”。在我們的示例中，任何低于50%的分?jǐn)?shù)都被標(biāo)記為“差”，這意味著需要采取行動。

這種洞察力水平可以讓你開始詢問有關(guān)數(shù)據(jù)質(zhì)量的問題，例如

雖然我們對空值檢查有很好的覆蓋，但我們應(yīng)該調(diào)查哪些檢查失敗了，是否可以修復(fù)，以及是否應(yīng)該刪除它們。

為什么我們的斷言測試的正常運(yùn)行時(shí)間顯著下降？

鑒于覆蓋率低，我們在唯一性測試上的高正常運(yùn)行時(shí)間是否會給我們一種虛假的安全感？

設(shè)定數(shù)據(jù)質(zhì)量期望指南

在大多數(shù)情況下，您需要根據(jù)數(shù)據(jù)的使用方式指定期望。我們建議您這樣做，因?yàn)槟赡懿幌胱屗匈Y產(chǎn)都遵守相同的標(biāo)準(zhǔn)。同樣，由于您可能只強(qiáng)制執(zhí)行“黃金”資產(chǎn)的文檔記錄，數(shù)據(jù)治理團(tuán)隊(duì)?wèi)?yīng)該扮演為數(shù)據(jù)測試的期望制定指導(dǎo)方針的角色。記住哪些數(shù)據(jù)對業(yè)務(wù)至關(guān)重要、哪些數(shù)據(jù)被暴露（例如，在儀表板中）以及哪些資產(chǎn)應(yīng)該有SLA（例如，如果數(shù)據(jù)沒有按時(shí)到達(dá)，就會產(chǎn)生下游影響）可以幫助您評估需要哪些檢查，從而衡量哪些是重要的。

8、通過所有權(quán)模式確保責(zé)任明確

隨著數(shù)據(jù)堆棧變得越來越復(fù)雜，一個(gè)人不可能再記住所有事情，而且往往發(fā)現(xiàn)問題的人并不是解決問題的合適人選。同時(shí)，上游和下游依賴關(guān)系的數(shù)量激增，這使得找到合適的上游所有者或通知受影響的利益相關(guān)者變得非常困難。

你不需要詢問許多數(shù)據(jù)團(tuán)隊(duì)就能了解夢想狀態(tài)：上游生產(chǎn)者擁有并管理其數(shù)據(jù)質(zhì)量，相關(guān)數(shù)據(jù)團(tuán)隊(duì)承擔(dān)責(zé)任，利益相關(guān)者發(fā)現(xiàn)問題的日子已經(jīng)結(jié)束。

良好的所有權(quán)說起來容易做起來難，而且失敗的所有權(quán)舉措也屢見不鮮。

數(shù)據(jù)治理團(tuán)隊(duì)最終負(fù)責(zé)構(gòu)建具有明確角色和職責(zé)的一致所有權(quán)模型。將其分為幾個(gè)步驟可以更清楚地表明您的差距：(1)整合元數(shù)據(jù)，(2)使用相關(guān)測試檢測問題，(3)分配所有權(quán)，(4)以可采取行動的方式通知相關(guān)人員問題。

所有權(quán)既是一種文化挑戰(zhàn)，也是一種技術(shù)挑戰(zhàn)，要成功實(shí)現(xiàn)所有權(quán)計(jì)劃，需要同時(shí)關(guān)注兩者。

為所有者設(shè)定期望—期望應(yīng)與數(shù)據(jù)資產(chǎn)的重要性掛鉤。例如，什么會導(dǎo)致嚴(yán)重問題，以及誰來決定。

定義所有權(quán)—您可以在很多地方定義所有權(quán)，從dbtyml文件到數(shù)據(jù)目錄、Confluence頁面和電子表格。明確定義所有權(quán)的期望，并幫助每個(gè)人以相同的方式進(jìn)行定義。

用正確的背景通知正確的人—我們建議您全面考慮數(shù)據(jù)所有權(quán)—從上游團(tuán)隊(duì)擁有的數(shù)據(jù)源到最終用戶擁有的儀表板。為簡單起見，我們將建議分為以下幾組：(1)數(shù)據(jù)團(tuán)隊(duì)、(2)上游團(tuán)隊(duì)和(3)業(yè)務(wù)利益相關(guān)者。

9、管理風(fēng)險(xiǎn)、隱私和法規(guī)遵從性

在公司生命周期的某些階段，通常是在引入數(shù)據(jù)治理團(tuán)隊(duì)時(shí)，需要管理重大風(fēng)險(xiǎn)。這可能涉及金融科技的監(jiān)管數(shù)據(jù)、即將上市的IPO的財(cái)務(wù)數(shù)據(jù)準(zhǔn)確性，或者公司需要負(fù)責(zé)任地處理PII數(shù)據(jù)的一般意識。

作為數(shù)據(jù)治理專業(yè)人員，您的工作很明確：確保公司履行其義務(wù)并最大限度地降低風(fēng)險(xiǎn)，同時(shí)不減慢數(shù)據(jù)團(tuán)隊(duì)的速度。

你可以通過以下幾種方式來實(shí)現(xiàn)：

PII相關(guān)數(shù)據(jù)–在大多數(shù)公司中，某些數(shù)據(jù)（例如用戶電子郵件）不應(yīng)隨時(shí)可供所有人查詢。強(qiáng)制將數(shù)據(jù)標(biāo)記為PII，并自動為這些數(shù)據(jù)設(shè)置護(hù)欄。例如，創(chuàng)建一個(gè)包含原始數(shù)據(jù)的單獨(dú)數(shù)據(jù)倉庫，其中僅按用例授予訪問權(quán)限，并在七天后過期。

用戶數(shù)據(jù)刪除請求–如果您使用用戶數(shù)據(jù)，您不可避免地會遇到用戶數(shù)據(jù)刪除請求。您越早考慮這些，在收到第一個(gè)請求時(shí)刪除所有用戶數(shù)據(jù)就越容易。在發(fā)生這種情況之前擁有正確的工具（例如列級沿襲）將大大減少所需的時(shí)間。

定義事件管理流程和SLA–無論您的所有權(quán)模型或數(shù)據(jù)質(zhì)量檢查有多好，數(shù)據(jù)問題都會發(fā)生。定義明確的事件管理流程具有多種好處：它可以幫助每個(gè)人對重要事項(xiàng)達(dá)成共識，使對問題知之甚少或一無所知的人更容易參與進(jìn)來，并且您可以更輕松地回顧過去的事件并報(bào)告嚴(yán)重違規(guī)行為。

10、數(shù)據(jù)治理專業(yè)人員需要掌握的關(guān)鍵技能

使數(shù)據(jù)可用、確保質(zhì)量、建立所有權(quán)以及平衡PII和風(fēng)險(xiǎn)與速度——這對于數(shù)據(jù)治理團(tuán)隊(duì)來說并非易事！以下是數(shù)據(jù)治理專業(yè)人員取得成功所需的一些基本技能。

技術(shù)理解–雖然您可能不會親自為代碼庫做出貢獻(xiàn)或編寫dbt模型，但對數(shù)據(jù)團(tuán)隊(duì)使用的工具及其局限性有高層次的了解是有益的。這可以幫助您更好地了解其他團(tuán)隊(duì)的痛點(diǎn)以及數(shù)據(jù)治理流程如何融入現(xiàn)有工作流程的利弊。

平衡優(yōu)先事項(xiàng)—你可能覺得每件事都很重要。不過，你的工作是密切關(guān)注整個(gè)公司的情況，從而優(yōu)先考慮某些計(jì)劃。例如，在即將進(jìn)行的IPO或監(jiān)管違規(guī)事件發(fā)生前，將治理計(jì)劃完全集中在財(cái)務(wù)數(shù)據(jù)上，而較少關(guān)注營銷和產(chǎn)品領(lǐng)域可能是明智之舉。

運(yùn)行供應(yīng)商選擇流程–您可能需要引入至少幾種工具來幫助您解決上述問題。您應(yīng)該密切關(guān)注數(shù)據(jù)目錄和數(shù)據(jù)可觀察性工具等類別中的工具。如果您決定投資某個(gè)工具，則需要由您來運(yùn)行一個(gè)結(jié)構(gòu)良好的流程，規(guī)劃概念驗(yàn)證，并確保數(shù)據(jù)團(tuán)隊(duì)中的每個(gè)人都能感受到您的聲音。這可能是您的公司第一次購買此類別的工具，因此，在您承諾之前，獲取多個(gè)演示并與現(xiàn)有客戶進(jìn)行參考檢查可能是測試該工具是否適合您的好方法。

組織認(rèn)同——沒有人會為了好玩而關(guān)心數(shù)據(jù)質(zhì)量、文檔或所有權(quán)。作為數(shù)據(jù)治理團(tuán)隊(duì)，您應(yīng)該向大家傳達(dá)文檔、數(shù)據(jù)質(zhì)量和所有權(quán)為何如此重要的理念。定期與領(lǐng)導(dǎo)團(tuán)隊(duì)分享見解是確保他們參與其中并理解這些投資為何值得的好方法。

小結(jié)

數(shù)據(jù)治理團(tuán)隊(duì)的作用是保持廚房清潔，確保所有刀具鋒利，并確保一切東西都擺放在適當(dāng)?shù)奈恢?。這不是一件容易的事，它需要平衡優(yōu)先事項(xiàng)、讓利益相關(guān)者參與進(jìn)來，并運(yùn)行供應(yīng)商選擇流程。