DataOps作為一種企業(yè)提升數(shù)據(jù)分析質(zhì)量和效率的方法論隨之興起。基于DataOps，企業(yè)數(shù)據(jù)中臺可以實現(xiàn)更高效的運轉(zhuǎn)，優(yōu)化數(shù)據(jù)質(zhì)量、加快生產(chǎn)周期，實現(xiàn)更好的數(shù)據(jù)運營、管理、應(yīng)用。那么，運用DataOps如何能夠最大化幫助數(shù)據(jù)團隊運營數(shù)據(jù)，與業(yè)務(wù)高效協(xié)同？DataOps適合什么樣的企業(yè)和團隊？對于DataOps未來的演進方向是什么？

自2014年大數(shù)據(jù)首次寫入政府工作報告起，我國大數(shù)據(jù)產(chǎn)業(yè)飛速發(fā)展，需求旺盛、供給強勁。在國家大數(shù)據(jù)相關(guān)政策的護航下，我國的大數(shù)據(jù)產(chǎn)業(yè)已進入深化階段。隨著發(fā)展的不斷深入，企業(yè)數(shù)智化轉(zhuǎn)型逐漸到達了瓶頸，各類矛盾浮出水面。

一是效率與管理之間的矛盾。數(shù)據(jù)項目尋求快速交付，那么管理就難以貫徹落實。在執(zhí)行上往往就出現(xiàn)了管理和實施兩張皮的現(xiàn)象，許多基礎(chǔ)工作遭到了忽視，從而產(chǎn)生了諸多的質(zhì)量問題；

二是業(yè)務(wù)與技術(shù)之間的矛盾。以前我們技術(shù)水平落后，面對的是巧婦難為無米之炊的問題?，F(xiàn)在技術(shù)發(fā)展迅猛，但在業(yè)務(wù)和技術(shù)的銜接上出現(xiàn)了問題，難以有的放矢。

三是需求與供給之間的矛盾?，F(xiàn)在的技術(shù)發(fā)展迅猛，面對企業(yè)提出的需求，供給側(cè)能夠給出各式各樣的解決方案。需求方精力都用在識別和對比，缺乏對需求的深入思考，遠離了問題的本質(zhì)。

在數(shù)智化轉(zhuǎn)型的大背景下，企業(yè)逐步意識到數(shù)據(jù)的重要程度空前。各行各業(yè)加速建設(shè)企業(yè)內(nèi)部信息系統(tǒng)，加快數(shù)據(jù)平臺構(gòu)建。但在朝數(shù)智化轉(zhuǎn)型邁進的過程中，總是存在著一些問題，阻擋著企業(yè)完成數(shù)智化蛻變。

從企業(yè)角度來看，在數(shù)據(jù)項目的開發(fā)、維護、管理的過程中，普遍會遇到一些典型的問題，例如數(shù)據(jù)項目的人工依賴度高、團隊協(xié)作配合困難、需求響應(yīng)時間低于預(yù)期、開發(fā)流程不夠順暢、管理要求難以貫徹等問題。

已有研究數(shù)據(jù)報道：99%的企業(yè)數(shù)字化轉(zhuǎn)型以失敗告終，84%的數(shù)字化轉(zhuǎn)型項目未能達預(yù)期。

在數(shù)智化轉(zhuǎn)型這一階段，企業(yè)的業(yè)務(wù)正處于發(fā)展的關(guān)鍵時期，組織內(nèi)的數(shù)據(jù)意識已經(jīng)逐漸成熟，數(shù)據(jù)相關(guān)的需求在這一階段激增。但是這一階段，技術(shù)引擎的動力略顯不足，數(shù)據(jù)項目的成本高、數(shù)據(jù)準備的時間長、數(shù)據(jù)需求的響應(yīng)不及時。種種問題阻礙住了企業(yè)完成數(shù)智化蛻變。也是與此同時，DataOps以破局者的身份出現(xiàn)在大家的視野當(dāng)中，為企業(yè)的數(shù)據(jù)引擎換擋。

DataOps的概念最早在2014年由國外學(xué)者提出，隨后業(yè)界逐步對其內(nèi)涵進行補充。在2018年DataOps正式被納入Gartner的數(shù)據(jù)管理技術(shù)成熟度曲線當(dāng)中，由此進入了國際的視野當(dāng)中。2022年中國信通院正式牽頭啟動了DataOps的標準建設(shè)工作，以此為基礎(chǔ)推動我國大數(shù)據(jù)產(chǎn)業(yè)的多元化發(fā)展，助力企業(yè)完成數(shù)智化蛻變。

從發(fā)展上看，自2018年被Gartner納入到數(shù)據(jù)管理技術(shù)成熟度曲線以來，DataOps熱度逐年上升，在21年處在一個從萌芽期到爆發(fā)期的關(guān)鍵過渡階段，預(yù)示著未來2-5年內(nèi)DataOps將得到廣泛的實踐應(yīng)用。

從定義上看，Gartner、Wikipedia爭相對DataOps提出了自己的定義。普遍認同DataOps具有敏捷、協(xié)作、自動化等特點。并且也提到了人員、流程、技術(shù)三者融合協(xié)作的重要性。

實踐上看，歐美國家的一些公司在DataOps的探索和發(fā)展上要早于中國?，F(xiàn)階段，我國有更廣闊的發(fā)展空間和挖掘潛力，在制度保障、人才培養(yǎng)、技術(shù)儲備發(fā)展上都有著長期優(yōu)勢。

在國外。有如Twitter、Google等公司使用面向未來的數(shù)據(jù)架構(gòu)，有如公司也在多年前就開始研發(fā)了諸如Knowledge catalog、DataStage、Cloud Pak for Data等符合DataOps理念的解決方案，也有像StreamSets公司這樣以DataOps思想來引領(lǐng)開發(fā)的工具產(chǎn)品。

在國內(nèi)。也有很多的企業(yè)先驅(qū)者，通過敏銳的嗅覺和強大的管理執(zhí)行力去探索DataOps的實踐。如中國工商銀行、農(nóng)業(yè)銀行、平安銀行等多家銀行機構(gòu)，聯(lián)通數(shù)科、廣東移動、江蘇移動、浙江移動等通信企業(yè)，阿里、騰訊、浩鯨、數(shù)造科技等科技公司，都在積極探索并嘗試用DataOps的理念來推動我國數(shù)據(jù)文化的建設(shè)和發(fā)展。

DataOps標準的建設(shè)意義在于在于三定：

即確定DataOps概念意義、明確DataOps實施流程、把握企業(yè)發(fā)展階段和方向。

再有就是通過標準引領(lǐng)的方式，引導(dǎo)企業(yè)快速接納DataOps文化，盡快完成數(shù)智化轉(zhuǎn)型，釋放數(shù)據(jù)要素價值。

DataOps的標準體系涵蓋了7大模塊，分別是研發(fā)管理、交付管理、數(shù)據(jù)運維三項核心過程，價值運營、系統(tǒng)工具、組織管理、安全風(fēng)險四項保障措施。

標準細分為25大能力、70余項能力要求和200余個動作環(huán)節(jié)。

目前，標準整體框架達成共識，并完成第一個模塊“研發(fā)管理”的主體內(nèi)容和要求。

該標準對DataOps的定義和能力特征達成了共識。

定義：數(shù)據(jù)研發(fā)運營一體化（DataOps）是一種面向數(shù)據(jù)全生命周期，以價值最大化為目標的最佳實踐。聚焦于協(xié)同從數(shù)據(jù)需求輸入到交付物輸出的全鏈路過程，明確研發(fā)運營目的，細化實施步驟，在系統(tǒng)工具、組織模式、安全風(fēng)險管理的支撐下，實現(xiàn)數(shù)據(jù)研發(fā)運營的一體化、敏捷化、標準化、自動化、智能化、價值顯性化理念

在級別上劃分上由低到高分為入門級、進階級、優(yōu)秀級、卓越級、引領(lǐng)級5個級別大項。

每個級別大項中又分為3個級別小項。從管理能力、技術(shù)能力、動作關(guān)聯(lián)情況以及其他重點四大維度為企業(yè)把脈。便于企業(yè)更精準掌握現(xiàn)狀。

在7大模塊中，第一個模塊研發(fā)管理，已經(jīng)就主體部分達成基本共識，DataOps研發(fā)管理模塊包含了4項能力，12個能力項、42個動作環(huán)節(jié)、210條等級要求和600余項條款要求。

企業(yè)可以通過以評促建的方式，掌握當(dāng)前發(fā)展現(xiàn)狀，明確未來發(fā)展方向。

Q: 對DataOps的理解認識，特別是DataOps解決的核心命題是什么？

A: 先說一個小體會吧，咱們行業(yè)搞數(shù)據(jù)倉庫或數(shù)據(jù)平臺工程化的，包括我們的算法工程師、數(shù)據(jù)科學(xué)家等，大家都喜歡吐槽，說自己是搬磚的、填坑的、挖煤的等等，這里面其實說明了很多問題。

似乎有很多沒啥技術(shù)含量、相對模式化的工作正在折磨著大家，大家的工作幸福指數(shù)好像并不高，那DataOps，能搞定這個問題嗎？答案是肯定的，DataOps核心要解決的問題，就是要圍繞相對復(fù)雜的數(shù)據(jù)處理流水線，基于數(shù)據(jù)驅(qū)動的方法，幫助數(shù)據(jù)組織不斷改進數(shù)據(jù)活動實施層面的協(xié)作效能。

所以，簡單一點說，DataOps可理解為在數(shù)據(jù)運維和數(shù)倉開發(fā)活動中找到敏捷精益的方法實現(xiàn)系統(tǒng)性降本增效。以聯(lián)通大數(shù)據(jù)的應(yīng)用實踐為例，我們內(nèi)部數(shù)據(jù)治理疏整促工程和集群治理“巡山”工程的相關(guān)實踐，這是相對狹義的微觀的視角，更大一點的目標是在復(fù)雜數(shù)據(jù)處理流水線上通過自動化工具鏈真正做到數(shù)據(jù)開發(fā)運維建模治理一體化。比如我們內(nèi)部的數(shù)據(jù)開發(fā)平臺和數(shù)據(jù)云平臺的相關(guān)實踐，如果從更宏觀的視角看，就是通過數(shù)據(jù)資產(chǎn)運營和數(shù)據(jù)智能方法論來驅(qū)動業(yè)務(wù)發(fā)展和企業(yè)數(shù)字化轉(zhuǎn)型，比如像我們通過聯(lián)通大數(shù)據(jù)能力開放平臺開展的數(shù)據(jù)生態(tài)運營及合作實踐。

Q：DataOps與數(shù)據(jù)中臺、數(shù)據(jù)資產(chǎn)管理等概念的區(qū)別與聯(lián)系？

A: 可以說，DataOps是數(shù)據(jù)中臺落地實踐過程中的加速器，是數(shù)據(jù)平臺開發(fā)運維和數(shù)據(jù)治理活動實施的潤滑劑，是數(shù)據(jù)科學(xué)建模分析和數(shù)據(jù)資產(chǎn)運營管理的催化劑。具體來看，就像下面這張圖，其中橙色部分就是DataOps的價值域，重點就是不斷提升數(shù)據(jù)組織和數(shù)據(jù)系統(tǒng)之間的協(xié)同效率問題。

Q: DataOps在企業(yè)中的實踐，是否可以舉具體案例說明解決了哪些問題？

A: 我先分享一下DataOps在聯(lián)通大數(shù)據(jù)公司內(nèi)部實踐過程中的三個要點吧：

1) 借鑒DevOps持續(xù)集成與交付方法論，建立數(shù)據(jù)治理基礎(chǔ)框架，實現(xiàn)數(shù)據(jù)采集、加工、運維、服務(wù)過程一站式、體系化、規(guī)范化、自助化的流水線管理模式，消除數(shù)據(jù)生命周期管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理等方面的隱患。

2) 基于大數(shù)據(jù)集群健康評分機制，實現(xiàn)數(shù)據(jù)平臺降本增效，從數(shù)據(jù)計算、存儲、調(diào)度等各個方面洞察平臺效能和數(shù)據(jù)資源冗余使用畫像，實現(xiàn)數(shù)據(jù)平臺、模型和應(yīng)用的快速部署與開發(fā)，使用AI輔助數(shù)據(jù)治理手段，為上層數(shù)據(jù)分析和智能化應(yīng)用提供穩(wěn)定高效算力和算法支持。

3) 實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)，建立數(shù)據(jù)資產(chǎn)運營體系，通過技術(shù)數(shù)據(jù)雙中臺底座，讓數(shù)據(jù)資產(chǎn)能力開放運營過程更加安全、敏捷、服務(wù)化和智能化。

具體來說，DataOps可以在我們數(shù)據(jù)開發(fā)、運維、治理、運營、安全這五大領(lǐng)域發(fā)揮出非常大的實用價值：

Q：DataOps的理念是否適合在傳統(tǒng)行業(yè)推行？

A: 關(guān)于DataOps的理念，大家看到在互聯(lián)網(wǎng)公司、創(chuàng)新獨角獸企業(yè)，以及我們通信運營商領(lǐng)域，確實都有一些實踐心得有一些小成績，但是你要說是否適合在傳統(tǒng)行業(yè)進行推廣，我個人認為跟企業(yè)屬性或業(yè)務(wù)范圍沒有特別大的關(guān)系，主要取決于團隊對DataOps概念的接受程度和給企業(yè)帶來價值的目標預(yù)期。從過去的交流經(jīng)驗來看，大家也容易陷入一些誤區(qū)，DataOps確實不是簡單的買買工具或者通過自研產(chǎn)品就一定能解決的問題，相反，這些工具或產(chǎn)品會變成“枷鎖”甚至是“刑具”，應(yīng)該優(yōu)先從數(shù)據(jù)組織和文化入手，深度思考，圍繞數(shù)據(jù)流水線、數(shù)據(jù)組織、數(shù)據(jù)活動三個關(guān)鍵點，找到數(shù)據(jù)開發(fā)、數(shù)據(jù)運維、數(shù)據(jù)治理、數(shù)據(jù)運營、數(shù)據(jù)安全五大價值域的突破口，可以嘗試各個擊破、快速迭代優(yōu)化，最終實現(xiàn)數(shù)據(jù)組織協(xié)作效能最大化。

Q：展望DataOps未來發(fā)展，DataOps理念本身是否會有演進？

A: DataOps理念和具體的方法論確實還在不斷演進中，業(yè)界還沒有標準框架和實施層面的通用工具集，但是相對于數(shù)據(jù)中臺更容易落地，因此，我很看好DataOps未來的發(fā)展，我相信通過產(chǎn)業(yè)界的不斷努力，后續(xù)DataOps應(yīng)該是能夠顯著提升數(shù)據(jù)組織的幸福指數(shù)，提高數(shù)據(jù)倉庫、大數(shù)據(jù)中心和數(shù)據(jù)中臺等平臺類系統(tǒng)工程建設(shè)的ROI，最終幫助企業(yè)實現(xiàn)數(shù)智化轉(zhuǎn)型的大目標。