GDPR的數據治理要求，對AI驅動的分析的追求以及云計算的拉動為2018年數據管理和大數據團隊的努力奠定了基調。這些和相關的數據管理趨勢將進一步影響到據行業分析師稱，2019年的數據專業人士。

例如，當組織將大數據應用程序投入生產使用時，組織越來越強調數據隱私保護。這是由于去年五月生效的新歐盟隱私法GDPR的出現所激發的。由于需要更強大的數據治理，早在6月，GDPR就獲得了加利福尼亞州類似意圖的州法律的批準。加州消費者隱私法案的合規要求將于2020年初生效。

德克薩斯州普萊諾的麥克奈特咨詢集團總裁威廉麥克奈特表示，新法律將數據的有效治理作為數據管理人員和公司高管的首要任務。“人們將不得不更好地了解數據沿襲，數據質量和數據訪問，”McKnight說。“那些以數據治理為特色的商店在這方面遙遙領先。”

一個更有序的數據湖

即使對于Hadoop數據湖來說，情況也在發生變化，Hadaop數據湖一度被視為可以將未分類的原始數據用于潛在分析用途的地方。

“數據治理的更新影響了數據湖，”McKnight說。“你不能把數據扔到那里，即使這是數據科學家想做的事情。”

他補充說，數據湖的數據治理已經引起了人們對數據目錄和元數據標記過程的高度關注。McKnight表示，數據專業人員的角色也正在改變，作為這些舉措和其他數據管理趨勢的一部分 - 這一變化反映在DataOps的興起中。

這是DevOps方法的一個分支，旨在簡化應用程序開發。McKnight以DataOps的形式指出，數據管理團隊致力于維護對數據的一致處理，并確保在推動跨分布式數據架構的全面生產使用時不會留下任何數據。

位于馬薩諸塞州Hingham的Eckerson Group的創始人兼首席顧問Wayne Eckerson也指出DataOps是一種新興的新學科，可能會在2019年變得更加普遍。

“許多用戶組織正試圖用更敏捷的流程圍繞DataOps進行思考，”Eckerson說。“他們正在研究精益版本控制和測試 - 完成所有優秀的軟件開發實踐并將其應用于數據環境。”

數據管理團隊擴展

在他們追求面向DataOps的實踐時，數據管理團隊也在與業務部門密切合作 - 他們在傳統IT架構中的地位也在不斷變化。

“我們看到中央IT的持續脫媒和數據團隊動態的相關變化，”McKnight說。“許多組織都承認這是一種新的方式，它反映在IT商店的構成上。”

加利福尼亞州蒙特維斯塔的Constellation Research公司分析師Doug Henschen表示，數據管理趨勢中值得注意的是，數據管理和分析團隊越來越需要協同開發利用AI技術的新型高級分析。

Henschen說，在統一的團隊中工作是將機器學習和深度學習模型大規模投入生產的關鍵。這是2018年的趨勢，他預計將持續到2019年。

“所需要的是基于團隊的方法，它們將數據科學家，數據分析師，數據工程師，開發人員和業務領導者結合在一起，以便通過持續監控和優化將模型大規模嵌入到業務應用程序中，”Henschen說。

對于企業而言，競爭差異化將部分基于他們如何廣泛地利用數據和利用尖端的分析技術 - 以及“他們是否能夠通過可靠的治理和合規來實現這一目標，”Henschen繼續說道。“數據只有值得信賴才有價值。”?他也將數據目錄視為一種使數據更易于管理的方式。

將云視為數據平臺

云計算幾乎不是一個新趨勢，但它在2018年在數據管理方面達到了一種高潮。云數據庫和數據倉庫是AWS，IBM，Microsoft和Oracle的技術和收購舉措的核心。大數據系統遷移到云端的前景也潛伏在Hadoop供應商Cloudera和Hortonworks?在10月份同意的合并背后。

紐約451 Research的分析師James Curtis表示，Cloudera和Hortonworks都面臨技術和業務挑戰，因為他們采用云計劃，允許用戶將Hadoop分布式文件系統（HDFS）換成云對象存儲技術。

事實上，在合并宣布時，兩家公司都沒有大肆宣傳Hadoop這個術語，這反映了HDFS和MapReduce處理引擎和編程框架（大數據平臺的原始核心組件）的作用減弱。

?“Hadoop中最初的基礎處理引擎和文件格式正在被取代。但是，雖然Hadoop將成為不在房間內的大象，但Hadoop所做的并不會消失，”柯蒂斯說。

他補充說，Hadoop有效地做了什么，迎來了開源軟件組件的廣泛大數據生態系統，并允許用戶將不同的處理技術應用于不同的數據工作負載 - 兩種數據管理趨勢預計會持續或不使用Hadoop本身。

基于云的數據倉庫是很久以前首次出現的技術。與大數據系統一樣，更多數據倉庫向云遷移現在看來也不可避免。

“云是數據倉庫的發展方向。唯一的缺點是內部有大量數據，但也有工具，”Eckerson說，指的是可以幫助用戶將數據遷移到云端的軟件。

Eckerson表示，快速部署，永遠在線操作以及更輕松地處理尖端性能的能力是進入云計算的決定性因素。他補充說，越來越多的IT和數據管理團隊也很樂意將數據基礎架構職責移交給云提供商。

變化：處理它

今年年底和新的開始是用于衡量技術和數據管理趨勢的進展或退卻的任意分隔符。但麥克奈特說，至關重要的是，各組織應對新的和新興趨勢帶來的變化。他預測，在2019年，他們肯定會有更多的東西需要處理。