數據治理和數據質量已經存在了相當長的時間，但這些重要的數據管理實踐近來又重新引起關注。Dataversity最近采訪了Syncsort產品管理總監哈拉爾德·史密斯（Harald Smith），就數據治理和數據質量的這種復興和未來發展方向，請史密斯談了談他的看法。

他們的網站寫道：“Syncsort是一家為大型機提供大數據解決方案的領先企業?！盨yncsort的關注點是大型機的高性能數據排序。史密斯說：

“在高性能數據移動和轉換的過程中，排序是關鍵的一步。但有一個大問題要解決，那就是‘如何有效地處理移動中的數據？’”

一年多以前，Syncsort收購了Trillium Software。史密斯說，Trillium現在為Syncsort提供了“一個非常廣泛的數據管理組合”，而對核心遺留數據的獲取已經成為一個重要課題。Trillium出身自數據質量領域，其關注點是解決核心數據清理、標準化和重復項刪除方面的挑戰。

史密斯說，憑借這次收購和新擴展的數據管理組合，“我們現在向全球大約6000家企業提供產品。我們在金融服務領域一直非常突出，在零售和酒店業等領域也是如此，這些領域非常重視”從客戶數據中尋找洞見。

數據質量和數據治理的復興
史密斯認為，近期使人們對數據質量和數據治理重新產生興趣的驅動因素主要有兩個，分別是合規性和提高市場競爭力的渴望。他說，自從2008年金融危機以來的這十年中，金融服務行業很多時候都在努力解決合規性問題，但歐洲的數據隱私法規（特別是《通用數據保護條例》）正在對所有行業產生重大影響。

史密斯認為，美國不會在2018年出臺類似法規，但他說，“任何跨國企業都必須解決這一問題。你不會真的想處于被動局面”。他指出，有些工具可以識別、監控并按要求刪除信息類型，即使是在未必預料到的地方。

“你希望對數據有那樣的了解，這肯定強烈地促使你采用各種工具，幫助你了解你的大數據環境和整個數據圖景，持續不斷地進行監控。你知道這可能幫助你發現那些客戶數據所在的位置。這是明顯的驅動因素?！?br>
Syncsort產品管理副總裁基思·科爾（Keith Kohl）也分享了他的一些想法。他同樣認為，監管和隱私是使人們對數據治理和數據質量重新產生興趣的兩個驅動因素。

“隨著企業越來越懂得如何使用大數據，大數據不再只是任何人都能進入的沙箱，它是真正的工作負荷，需要圍繞它進行治理控制。這是強制性的：需要建立一些流程，需要一些人來執行，這項技術本身必須支持所需的控制和審核?！?br>
另一個驅動因素不那么明顯，但越來越多的客戶向史密斯表示了這點，那就是提高競爭力。“我想增加公司收入，我想了解如何更高效地完成任務，這意味著我必須可以處理我能信任的、擁有正確內容的數據?！?br>
他舉了一個例子。有一家做網絡銷售的公司想知道其英國客戶的位置，他們的方法是查看IP地址，并在地圖上標示出來：“有些請求來自北部，有些來自西南部，但很多的地理位置信息都模糊不清，是基于非標準化的集中式信息，而且沒有驗證基于地址的內容。然而在應用了一些質量工具之后，整個圖景都發生了變化?！?br>
突然之間，這家公司發現，他們的大多數客戶和詢問都來自倫敦及附近郡縣，這需要他們改變其營銷工作的側重點。

數據質量和數據治理的交集
史密斯看到了一個趨勢，即人們越來越了解數據質量在企業成功中發揮的作用：“人們開始認識到，明智的商業決策需要高質量的數據，這就是他們希望數據質量到位的重要原因。然后你可以開始說，‘我該怎么實現？’好吧，我需要數據治理流程發揮作用，這樣我就可以對數據質量進行監控、衡量和密切追蹤?！?br>
數據治理創造了一種數據質量文化，以便“所有業務線都了解數據質量對企業作出明智決策的重要性”?？茽栠€說：“除非擁有恰當的數據治理策略（包括數據質量控制和監測），否則根本做不到這一點。這仍將是2018年的一個緊迫問題?！?br>
數據質量和數據治理：不再可有可無
“數據治理和數據質量一直都很重要，”史密斯說。哪怕是在20年前也是如此。“那時，數據還不像現在這么多，但重點不在于有多少數據。如果你不治理，數據沒有質量，即使數據再多也無濟于事?！?br>
史密斯強調，基本的數據管理實踐、概念和技術一直都在我們身邊，“甚至變得更加突出。為了能夠利用這些數據集做好數據科學，你必須知道你在做什么，否則你將浪費大量的時間和金錢”。不了解數據的來源，或者不了解數據是否適合預期用途，都會對成本產生影響。此外，數據不僅呈指數增長，而且來源日益廣泛。

“數據增長的速度越來越快，管理起來非人力可及。因此，你必須開始采用一種質量控制方法（一種衡量方法），這是數據治理過程的重中之重，”他說。
史密斯說，最近有研究顯示，很多數據科學家花費了近80%的時間尋找和準備數據。他說，就人力成本而言，這不是一項劃算的投資。

“你付錢讓他們處理你的數據，提出新的洞見和建立新的模型，幫助你評估有關客戶或行業的不同預測，但他們的時間卻沒有花在這些事情上?！?br> 雖然仍有試驗的空間，但按照數據治理策略創建的可重復過程必須就位。

“在這么做的時候，你必須能夠為下一個人提供嚴謹性，說‘這就是我獲得此數據源的地方?！艺J為，在未來五年左右的時間里，隨著各行各業努力鉆研這些概念并試圖管理那些數據，我們將會看到這方面的大幅變化。這就是關于數據質量和數據治理的實踐和工具真正的發展方向。”

史密斯說，保持競爭力越來越有必要，人們越來越意識到數據分析和機器學習等技術對企業成功的作用，這兩點推動了文化上的轉變?！拔艺J為另一個重要因素是如何改變整個公司，使其具備數據方面的知識，了解什么是數據?！逼髽I如何解決這個問題？企業可以使用哪些工具來幫助解決這個問題？僅僅有了工具是不夠的。工具到位后，企業還必須讓員工明白這些工具能做什么。

史密斯認為，當企業努力應付體量龐大、增長迅猛的數據時，這種文化上的轉變對企業至關重要。

支撐新技術：數據治理和數據質量
科爾看到了一個更快獲取信息的趨勢，企業可能擔心自己改變得不夠快。“如果你無法實時進行數據分析，現在還不算太晚，但你需要立刻行動起來?！彼A計，機器學習的應用將超出數據分析的范疇。

“人們越來越意識到，人工智能可以應用于生活中的一切，不管是簡化他們的工作，還是幫助他們做出明智的決定。Syncsort預測，在2018年，機器學習和人工智能將在各種技術中更加普及。從產品到分析，再到數據質量和數據治理，人工智能適用于一切。”

史密斯還預測，未來五年，新技術的廣泛使用將有助于改善“數據質量和數據治理的實踐和工具”。由于大量數據來自不同的來源，因此必須制定數據治理策略，以便“對一切進行標記和記錄，使你能夠了解內容、來源和完整程度，從而不會（做出）有偏見的商業決策”。

史密斯說，根據高質量數據作出明智的商業決策，“這是數據治理和數據質量的發展方向”。