01 數據資產的生產和消費現狀—— 孤島就在那里！在大數據時代，企業數據資產的生產和消費，實際現狀大概是這樣的。一方面，每個業務部門都產生并存儲了大量的數據。這些數據存儲在不同的系統中。每個業務部門都是數據的生產者。另外一方面，每個業務部門都有使用數據來幫助進行更智能決策,每個業務部門也都是數據的消費者。作為數據的消費者們，希望可以自由地消費全公司的數據資產。因為只有聯合了多個相關部門的數據進行分析，才能夠得到更為有用的結果。但是，部門墻、數據孤島總是客觀存在的，讓數據消費者去方便地消費全公司的數據有很多困難。一方面，數據是由各個業務部門產生的。絕大部分公司，并不存在一個覆蓋全公司各個業務部門的數據資產的地方。所以數據消費者不知道有哪些數據可以消費。

另一方面，數據的使用也帶來了授權和監管的需求。如果數據包含了敏感信息，比如個人信用卡信息，那么法律法規就限制數據只能在有限情況下被特定的人訪問。無論是授權給合適的人，還是監督誰訪問了這些數據，都是數據被使用的必然要求。而這些要求伴隨數據生產者，在公司內部很碎片化。

02 數據資產的消費和監督—— 魚和熊掌可兼得？
那么我們怎么樣一方面能夠讓數據更好更快更方便的在全公司范圍內被發現被消費，另外一方面又能夠做到數據的所有使用和訪問都需要授權和監督？為了兼顧全公司范圍內的數據資產能被方便的使用，和數據資產的使用被有效授權和監管這兩個不同的要求，有的公司采用了這樣一個辦法：專門成立一個部門，集中管理全公司范圍內各個業務部門產生的所有數據，給需要的人提供訪問，并做好授權和監督。現實中這個想法很難行得通。這個部門，既不是數據的生產者，也不是數據的消費者，但是卻需要對數據的訪問和監督負責。這問題就很大了。責權不匹配，是各個部門互相推卸責任的好幫手。可以想象如果出問題的話，到底是數據生產者的鍋，數據消費者的鍋還是這個部門的鍋，沒人能搞得清楚了。其實，退一步海闊天空，數據治理是有可能從一個較小的范圍啟動起來的。市場部門需要銷售部門的每周的數據匯總，那就先把這個數據給提取出來，形成API，讓市場部門去用。這樣就在市場部門（數據消費者）和銷售部門（數據生產者）之間，建立了一條線，并且有了一個公共的數據“每周銷售匯總”。這個數據就像一個手機充電頭，不但市場部門可以“充電”，別的部門將來也可以用。隨著時間推移，這樣的充電頭就會越來越多，就會形成一個小型充電站，數據治理也就基本完成了。這是一種需求驅動的敏捷方法，不過，敏捷的方式需要敏捷的工具。

這個工具應該支持數據生成者迅速地把自家數據形成一個Schema，定義好有哪些字段，字段的具體含義。并且定義好哪些組織，什么人可以訪問，消費者看到以后，就可以直接使用。

03?敏捷的，分散式的數據治理—— 到底怎么搞？

也許有人要問，有沒有一個辦法可以提供一種靠譜的，持續發展的數據治理方式，幫助企業在生產者和消費者之間牽線搭橋，既能方便消費者很好地跨部門使用數據，又能夠讓數據的訪問經過合理的授權，接受監督呢？下面就給您答案！2022亞馬遜云科技re:Invent全球大會上發布了一個新服務Amazon DataZone。Amazon DataZone為數據治理提供了一套可行的思路：敏捷的，分散式的數據治理。具體來說，Amazon DataZone提供了一個平臺和對應的工具，方便數據的生產者和消費者建立連接，讓消費者對生產者的數據進行使用。在實際使用過程中，并不需要全公司全方位進行數據治理。只需要找到一個生產者和一個消費者，這一對生產者和消費者就可以先創建項目和API，讓消費者把數據在監管的情況下先用起來。下圖展示了Amazon DataZone的主要組件。
這樣一來，就不需要有一個跨部門全公司范圍內全方位的治理了。生產者依然是數據的擁有者，消費者依然是向生產者請求數據的使用。生產者和消費者所對應的信息被聚集到Amazon DataZone這個統一的平臺下。Amazon DataZone的另外一個重要的功能是提供了一個統一的門戶，潛在的數據消費者可以很容易的在這里對所有在Amazon DataZone上的數據資產進行搜索。下圖展示了Amazon DataZone的數據門戶。

繼續上面這個例子。如果有更多團隊想使用已有的數據資產，他只需要在Amazon DataZone的門戶搜索并發現這個數據資產。然后就可以訂閱并加入消費者的行列。第三者的使用并不需要生產者再次重復之前創立數據資產和對應API的所有步驟了。下圖展示了潛在數據消費者，如何利用數據門戶進行搜索。
如果說Amazon DataZone提供的功能讓一對生產者和消費者建立連接，是一個企業內部的兩個點被連成了一條線的話，那么第三者通過Amazon DataZone發現數據資產并使用，則可以讓線變成網。用的時間就來，不斷有生產者和消費者加入，不斷有額外的消費者建立額外的鏈接，數據治理也就越來越成規模化發展了。這就是敏捷的，分散式的數據治理。在這里，Amazon DataZone扮演了重要角色。一方面，Amazon DataZone只是一個數據資產發布和管理的平臺，實際對數據資產進行管理的依然是數據的生產者。另外一方面，Amazon DataZone事實上聚集了越來越多的數據資產的信息。同時Amazon DataZone也提供了讓第三方潛在數據消費者去發現這些數據資產，從而能夠使用這些數據資產的能力。這兩方面能力的結合，是Amazon DataZone解決數據治理過程中萬里長征不知道從何開始，也不知道怎么樣完成的核心手段。Amazon DataZone通過這些能力，為企業敏捷的，分散式的數據治理提供了一個平臺。在這個平臺下，企業可以通過敏捷的增量模式，逐漸將公司的所有數據資產在一個統一的平臺下實現數據治理，讓數據治理的萬里長征真正成功。Amazon DataZone這個服務，值得每個需要數據治理的企業去嘗試。對于企業來說，數據可能來源于數據倉庫、數據湖、流數據、關系數據庫、第三方系統等多個地方，亞馬遜云科技提供了一個叫Amazon Glue工具，可以輕松地發現、集成來自多個數據源的數據，并且可以對數據進行提取、轉換、加載(ETL）。用戶可以按照自己的需求，把各個數據源的數據進行編目，形成數據目錄（Data Catalog）。

有了數據目錄和組織結構做基礎，每個部門就可以根據需要來創建屬于自己的業務術語，元數據，從而建立自己的數據資產。
數據資產一旦發布出去（當然，需要設置好權限），別人就可以查詢了，Amazon DataZone 專門提供了一個門戶（Portal）對數據資產進行查詢，非常方便。

利用這種方式，可以迅速地對接生產者和消費者，把數據資產創建起來，馬上投入使用，從而實現快速響應業務需求，應對市場變化。沉淀下來的數據資產還可以繼續被別的消費者使用，隨著這樣的數據資產越來越多，大家都看到了業務價值，數據治理就會走上正軌。