數據指標體系建設思考

--從數據治理到分析治理，搭建高可信、高質量的數據指標體系

關于指標，大多數對它都不會陌生，不僅僅是與數據相關的人員熟悉它，幾乎所有人都多少與它有所關系，與我們工作考核的相關的KPI指標、與國家監管報送要求的數據指標、與財務工作相關的統計指標、與銷售或營銷相關的銷售指標及營銷指標等等。都與我們日常生活、工作相關，與數據分析工作相關的人員更有深刻體會。

我們在這里來思考的主要是數據指標，而且是指與企業數據資產相關較強的數據指標，我們專注于此類數據指標及它的體系的建設思考。這件工作是數據管理、數據治理、數據分析（或數據科學）相關工作的人員關注的內容之一。關于以上類型工作的度量指標是另一層面的內容，將作為衡量企業數據指標及數據指標體系建設工作的評價指標。

作為數據治理從業人員，我們會深刻體會在現如今的大數據時代，數據驅動甚至是知識驅動的時代，我們除了通過傳統的數據管理理論來管理數據，并保障數據的質量，我們也必須關注于數據價值的輸出及數據資產的變現。對于一個組織來說，高可信、高質量的數據指標正是作為數據資產評估、數據驅動依據的強有力數據支撐。

首先，我們明確概念。

由于數據科學的發展及數據量的激增，數據分析工作不再是僅僅是統計分析數據的工作，也必須考慮與數據分析相關的治理工作。這一類的工作我們可以稱為數據分析治理。

關于數據管理成熟度模型，國內外都不少可以參考的成熟模型，有老牌的DMM、Gartner 的EIM、EDM委員會的DCAM、國內的DCMM等。其中DCAM從2.0升級到2.2版本時，根據現如今數據分析的重要性，增加了第8職能域：數據分析。

從上圖，我們可以清晰地了解到，數據治理及分析治理都屬于數據管理的范圍內，數據治理可以為分析治理提供如指標數據標準、數據質量保障、元數據管理等支撐，而分析治理關注于數據指標體系、數據分析模型、數據分析生命周期等內容。

與數據治理和數據管理相似，分析治理也有對應的分析管理。

數據量的激增、數據科學分析和數據驅動的需求、分析模型和分析領域的復雜性是分析治理的內在驅動力。

分析治理注重體系建設、治理組織及角色分配、分析模型素養、評估及監控信任模型等內容。

在分析管理中，分析生命周期管理與一般我們了解到數據生命周期管理是有所側重的，它們分別會有以下一些內容：

請求接收： 定義如何管理分析需求，使用系統或其他管理管道的請求方式。

用例：?請求必須經過分析師，該分析師可以詳細了解請求的最低要求，并且可以評估解決方案是否可行。這些請求應得到及時和公正的處理。

模型優先級：?這個過程最好由分析治理委員會來處理，而不是把優先級委托給一個人。?當決策由一個群體做出時，他們更有可能被認為是公平的。不要設置諸如無休止的表格之類的障礙或允許請求累積，因為它們必須等到下一次會議。保持一致很重要，但也要足夠靈活。

第三方模型獲取：?內部構建模型并不總是最佳選擇，分析治理委員會應考慮聘請第三方提供模型。在這種情況下，應仔細審查第三方合同的條款和條件，因為有些條款和條件技術性很強。

開發模型：應確定模型所需的最小可行數據：“這是分析、治理和數據治理的交匯點。”還有待確定的是最小可行模型——實際解決用例所需的最小值。

數據發現：?應啟動開發方法以確定是否有可用的數據可以滿足質量需求或是否需要外部數據。

模型驗證： 驗證過程確定模型是否能夠充分泛化，或者它是否過于特定于它所訓練的數據集。業務方可以對結果提供“健全性檢查”，并幫助將假設輸入模型。他們還可以幫助獲取數據。

模型存儲： 模型在建模請求時添加到存儲清單中，并在其整個生命周期的重要時間點進行更新，例如驗證、創建新版本時等。模型存儲清單是分析治理的戰略要求。

維護：隨著模型被插入到業務流程中，角色和職責必須是明確的。隨著業務的變更確實需要一些流程重新設計以及模型維護。

模型操作： 使用信息的一線工作人員如果從業務角度認為出了問題，他們需要一種方法來進行報告。由于模型會隨著時間的推移而漂移并失去準確性，因此還應建立監控過程。

我們可以通過已發行的銀行行業標準《JR/T0137-2017銀行經營管理指標數據元》來理解數據指標的定義。在銀行業，數據指標可以定義為反映銀行經營管理在一定時間和條件下的規模、程度、比例、結構等的概念和數值。針對其它行業，我們可根據行業特點來參考定義數據指標。

一般情況下，我們會將數據指標分為原子指標及派生指標。

也有將數據指標會分為原子指標、復合指標、派生指標，在這里復合指標一般是指由多個原子指標綜合得到的數據指標。

當然還有基礎數據指標的概念說法，一般情況下基礎數據指標是指上面提到過的原子指標和復合指標。

從上圖我們可以了解到原子指標與派生指標的關系。

派生指標=時間周期+修飾詞+原子指標，派生指標可以理解為對原子指標業務統計范圍的圈定。

左邊的部分是對于圖中的一些概念的說明，這些說明是參考阿里的文檔得到的。

數據指標可以根據數據指標來業務流程中的位置來分為結果性指標和過程性指標兩大類。下面的這張圖是對這兩類的指標的說明，并且對于原子指標和派生指標用實例展示。

指標數據標準是數據標準體系中的一部分，同樣我們以銀行業為例，在銀行業中，會將數據標準分為三大類或者兩大類，兩大類就是基礎數據標準和指標數據標準，三大類的分法是基礎數據標準、參考數據標準和指標數據標準。實際上框架沒什么區別，無非就是基礎數據標準的范圍不同而已。

指標數據標準通過基礎屬性、業務屬性、技術屬性和管理屬性來描述指標數據規范化要求。

指標數據標準，可以說是企業內數據分析應用的基石。我們在數據分析應用的實際工作中，最頭痛問題就是指標口徑不同、指標體系不完整及指標追溯難這幾類問題。所以規范的指標數據標準，才能保障我們數據分析應用工作。

有了標準的數據指標，我們還需要數據指標體系來規范數據指標的定位、應用并承接組織的業務策略及業務目標。

一般我們會通過橫向及縱向分析這兩種方式，最終形成數據指標體系。

橫向上可以采用OSM模型的思想，有可能會不少人感覺OSM模型不太落地，有點虛，所以我們是理解它的作用，利用它的思想，來充分分析組織中的業務目標與數據指標的關系，通過這樣的思考方式，我們明確各數據指標的相互關系，提取或制定出符合組織策略的關鍵指標。

縱向劃分可以形成我們一般指標體系的三層框架，一級指標、二級指標、三級指標。指標框架一般為三層框架，不建議層級太深，不利于通過數據指標來有效反饋業務目標。在縱向劃分時也有可以參考的模型，如AARRRR模型。它教會我們在分析時，可以通過某種核心業務數據的生命周期來制定數據指標體系的框架。

我們都知道，數據指標體系的落地及應用一般都會通過如數倉這類的數據中心的應用輸出來實現，所以如數倉的建設同時也會充分考慮數據指標體系的內容。

下面是一些數據指標體系的示例。

數據指標體系搭建原則

我們在搭建數據指標體系時不能只是簡單地堆積指標，也不僅僅會羅列指標。這可能以往有很大一部分人都會犯的通病。

那么我們在搭建數據指標體系時需要考慮的因素有哪些，或者從常規的方法論來說，我們需要注意的搭建原則有哪些。下面我們分為三個方面來說明這個內容。

高可信，說明我們的數據指標是統一規范、標準化的指標，指標的結果是基于有效數據資產且可以準確、精確、科學反映或監控業務活動行為。

高價值是指我們的數據指標體系可以體現企業的業務策略、指導并監視業務策略落地、符合企業價值導向并全面覆蓋企業當前發展階段的業務活動的體系化內容。

建設高可信、高價值的數據指標體系，從數據指標框架設計及數據指標選取我們需要考慮下列原則：

就如上圖表達的，我們需要做有效的工作，清晰定位問題而不是忙亂地解決問題。從框架設計上，需要考慮的設計原則有系統性、全面性、結構性、差異性和重要性（參照《數據治理工業企業數字化轉型之道》）：

系統性	?????充分承接整個企業的戰略目標
全面性	?????全面覆蓋企業管理相關因素
結構性	?????將指標劃分為戰略層、管理層相互支撐的結構
差異性	?????建立有針對性可落地的指標體系
重要性	?????核心業務優先，關注管理瓶頸與重點

關于數據指標的選取，我們需要考慮正確性、唯一性、完整性這三項原則。下面總結的3點原則從另一方式來說明如何選取數據指標：

1、選擇簡單、準確、精確、標準化的指標。

2、選擇能直接度量數據驅動過程的指標。

3、清晰、可度量、有目標、可見的KPI（關鍵指標）

我們還可以參照傳統的評價評估體系來考慮數據指標體系的構建原則：

①系統性原則

?各指標之間要有一定的邏輯關系，它們不但要從不同的側面反映出業務系統的主要特征和狀態，而且還要反映業務系統之間的內在聯系

②典型性原則

?確保數據指標具有一定的典型代表性，盡可能準確反映出特定業務領域的綜合特征

③動態性原則

?指標的選擇要充分考慮動態的變化特點，制定充分的評價維度

④簡明科學性原則

?各指標體系的設計及評價指標的選擇必須以科學性為原則，能客觀、真實地反映企業發展的特點和狀況，能客觀全面反映出各指標之間的真實關系

⑤可比、可操作、可量化原則

?指標體系的構建是為業務領域政策制定和科學管理服務的，指標選取的計算量度和計算方法必須一致且統一，各指標應該盡量簡單明了、微觀性強、便于收集，還應該具有很強的可操作性和可比性

⑥綜合性原則

?各業務領域的互動、雙贏是企業生態建設的最終目標，也是綜合評價的重點。要在相應的評價層次上，全面考慮影響業務領域各系統的諸多因素，并進行綜合分析和評價

從設計及構建原則中，我們發現，我們在談論數據指標體系的時候，總是會談到業務相關的內容，說明數據指標體系是服務于企業業務活動需求，所以我們從業務活動需求這一點來進一步說明我們如何建設數據指標體系。

數據指標必須與業務結合，才能轉化為信息，要不就只是數據，不會產生價值，也失去數據指標的指導、監視、評價的意義。

所以數據指標體系最終的輸出結果會是一份體系化的指標數據標準或者是指標字典，而且也可以實現將可視化地展示到Dashboard上。

右上角的小三角說明了我們數據指標需要有價值，要適合當前業務并且可以統計的。

以BPP模型來指導建立數據指標體系，說明我們在建設數據指標體系時需要充分考慮企業的商業模式、產品服務和業務流程任務這三層級內容，分別解決不同階層的業務需求。

分析獲取關鍵指標，通過關鍵指標分解及衍生出下級指標及指標分類層次，形成數據指標體系是一個典型的數據指標體系建設方法。在這個過程中，我們需要充分考慮當前業務策略及企業的發展階段。我們需要意識到關鍵指標也會隨著企業發展階段的不同、商業模式的不同等情況而發生變化，甚至有可能是一個大的變化。下圖就舉例說明了這個問題：

前面我們還提到了關于高價值，那么在建設數據指標體系時，需要貼合業務，從體現企業價值貢獻的角度來考慮數據指標體系的建設：

可以利用EVC模型，按照客戶價值、企業價值、生態價值分別形成三級數據指標。

有各種各式的典型分析模型來指導我們更好地建設數據指標體系，但是我們需要學以致用，所以我們在實際工作上，落地上關鍵的一點是“與業務運營方的需求溝通”。只有充分溝通，才能保障我們的工作成果有最終價值體現。

前面聊到的這些內容，并不是讓大家在建設數據指標體系上既考慮這個，也考慮另外一個。在這里更多地想表達我們建設數據指標體系時需要根據我們所在企業的實現業務策略及業務需求來進行，各種分析模型只有指導意義，并不建議生搬硬套，所以我們引入下一個話題。

前面反復強調過，數據指標體系要根據企業業務形態來設計及落地。所以我們可以總結一點就是，沒有通用的指標體系，只有合適的指標體系。我們不能直接地抄各種成功的數據指標體系，或者因為我們企業與他們類似就直接套用。成功的數據指標體系可以幫助我們解決體系化建設的框架及考慮問題的參考方式，一個能落地的數據指標體系需要分析清楚企業的商業模式、監管要求、業務流程等內容。“從業務中來，回業務中去”這句話同樣也符合數據指標體系的建設原則。

數據指標體系搭建流程

???“德勤”的數據指標體系方法論

首先，我們先來學習一下優秀的數據指標體系搭建方法論。數據指標體系搭建方法論有不少優秀的方案，大部分都大同小異，在這里我們來聊一下“德勤”推薦的搭建方法論，搭建一個高質量、高可信的指標體系。

“德勤”基于全球實踐，提出了覆蓋全行業的企業價值地圖（Value MapTM）。圍繞企業如何實現價值提升，將企業創造價值的來源從開源（增加收入）、節流（減少成本）、資產管理和預期管理四大方面，逐層細化為675個具體舉措，形成企業發展的“價值驅動力”（Value Drives），有效指引企業高質量發展。企業可借鑒企業價值地圖框架，進一步展開指標分解及歸因分析，搭建高質量的指標體系。

為了保障數據指標體系的高可信，“德勤”構建了一套兼具高效性、體系性和落地性的指標體系梳理方法，涵蓋了從“指標梳理-指標設計-指標落地”的全流程指標體系規范。

從指標體系設計框架圖，我們可以發現，在數據指標設計到落地的過程中，為了保障數據指標的高質量及高可信，需要遵守幾個基本原則：準入原則、合并原則、認責原則、命名原則、屬性規范化原則、落地原則、分類原則、管理原則，當然還包括總體設計原則。在這樣的有效設計框架下，從組織、制度、流程、技術、工具等方面充分保障數據指標體系設計活動。

“德勤”還提到在構建數據指標體系時，需要注意四個重點內容：識別關鍵績效指標、聚焦核心業務領域、響應國資委“兩利四率”考核要求、構建高可信的指標體系并分別說明這四個重點的操作路徑。

???數據指標體系搭建方法論

在這里，我們嘗試將大多數的數據指標體系搭建方法論進行總結，可以形成以下所示的數據指標體系搭建方法論。

A.?????從數據指標體系的搭建領域可以分為指標定義、指標開發、指標管理、指標應用這四個領域。

B.?????從搭建過程我們可以分為“找指標”、“理指標”、“建指標”、“管指標”、“用指標”這五個過程。

C.?????最佳實踐方法包括：

?定標準、設計原則、指標體系框架及要素：關鍵指標，以關鍵指標展開；定分類體系框架，充分考慮指標間關系；形成指標數據標準規范

?引入業內成功指標體系，借鑒已有的指標成果：保障指標符合行業特點及公司業務需求，客戶化指標

?限范圍，以點帶面建設：如以監管指標或管駕倉指標為入口，先企業級關鍵指標，落地到各主題下的指標

???數據指標體系設計流程

在數據指標設計完成后，指導數據埋點、數據采集及數據應用的數據指標落地具體工作，在數據指標落地過程發現問題向上反饋，進一步完善數據指標體系。通過這樣的循環過程保障我們的數據指標體系既符合企業的戰略驅動、業務驅動、數據驅動等目標，又能與企業明細業務數據緊密配合，推動數據指標體系在全企業的應用。

???數據指標體系開發流程

我們都知道，想應用數據指標，需要按照數據指標體系的要求進行數據指標的開發，下面這張圖就能明確我們在數據指標體系開發過程中，它的流程及流程節點上的負責角色及可能用到相關工具。

通過這樣的流程框架設計，為我們在進行指標體系中管理辦法及制度提供明晰的組織架構及角色職責要求。

承接上面的開發流程框架設計，我們可以設計數據指標模型設計架構。

在這個架構中，我們明確數據指標的分類及指標不同類別的關系，以及說明數據指標的不同屬性是如何指導如數據倉庫中的事實表和維度表的設計。

???分搭建流程明細說明

1、指標梳理

梳理方法：

?指標梳理的工作主要采用“自上而下”和“自下而上”相結合的梳理方式。

?指標分類應從企業戰略、業務管理需求出發，自上而下基于業務條線逐層展開設計；

?具體指標以業務系統為導向，則自下而上逐層篩選、合并、整合、抽象并歸類。

我們用一個示例來說明梳理方法：

“自上而下”：從業務域我們一般可以分為財務、人力資源、銷售等等，然后在進行二級業務域劃分，如銷售可以分為市場營銷、客戶管理、訂單管理等等（是否需要三級分類視業務復雜程度決定），這樣我們就得到了一個指標分類的初步框架。

“自下而上”：我們從業務系統出發，從系統中識別其功能模塊，例如ERP、CRM、SRM等，CRM系統中又有客戶管理、訂單管理等功能模塊，我們從這些模塊中包含的業務單據中就可以找到相應的數值字段，然后挑選出可以作為指標展示的。如果這些系統中有單獨的統計報表功能，那么我們的工作相對簡單，只需要從報表中找到相應的指標即可。

梳理思路：

整體梳理思路需要自上而下，從企業級到業務域到業務運營，上層衍生或者拆分到下層，下層指標值可以匯總到上層指標或者對相關指標的監控。

細化示例：

細化業務域的業務流程中的管控目標，和指標一起形成功能矩陣，標注出指標的產生、引用關系，處理發現指標字典中有重復、不同口徑統計等情況，將形成含有分類和業務目標的指標字典。

指標數據標準制定:

數據指標體系除于分類框架外，最大量的工作就是我們需要制定一個個具體的數據指標。在銀行業，一般這一類工作稱為指標數據標準制定工作。在銀行業也有相關標準來規范如何制定指標數據標準，在行業標準中也明確了指標數據標準應包括的屬性有哪些（業務屬性、技術屬性、管理屬性、擴展屬性等）。

指標數據標準制定原則:

為了更好制定指標數據標準，我們需要在指標數據標準設計過程中，遵守相關制定原則。可以按下面四點來說明：

2、指標管理

指標管理與其他數據管理模塊相似，而且指標管理從理論上來說不應單獨管理，需要嵌入企業的整體數據治理體系中。

管指標數據的工作也是屬于數據管理的工作，所以數據指標的管理需要嵌入到數據治理體系建設中，也需要數據治理體系促進企業內的主數據、業務數據、統計數據的標準和規范，保障并提高數據的數據質量。

管理指標需要建立指標管控制度和流程，明確指標認責人、指標用戶、指標管控團隊在各項管控活動中應遵循的管理要求和工作流程。

除了我們需要通過組織、制定和流程來保障數據指標體系，我們的數據指標體系也要全鏈路、全生命周期管控數據指標。來保障數據指標的高質量，體現數據價值。

下面的示意圖中，我們觀察數據指標的全生命周期管控可能會有哪些方面內容。

那如果從指標數據標準制定來考慮，指標管理會指定誰來負責指標數據標準的制定。

類似基礎數據標準的管理，在指標數據標準管理工作中，同樣需要數據治理歸口管理部門來牽頭指標數據標準的制定工作，并建立業務歸口部門與技術主管部門的協作機制。

3、指標應用

最后，我們來思考一下，數據指標應用會有哪些方面，總結來說，會有下面展示的6個方面的應用。

表：數據指標應用場景

序號	指標應用場景	場景說明
1	數據分析	指標目錄、管理駕駛艙、自助分析及報告、血緣及影響分析
2	數據管理	指標管理、數據質量管理、元數據管理.
3	報表和提數	自主提數、統一報表平臺、監管報送平臺
4	數據服務	指標共享、數據中臺、智能推薦、指標解析
5	戰略和績效	目標計劃、指標ROI、機構及員工績效、營銷活動
6	數據開發	可視化數據開發、數據挖掘、數據科學研究

???指標落地方法

為了保障數據指標的可得性和可用性，我們在設計數據指標時應充分考慮數據指標的可落地性。并通過指標驗證來驗證我們制定的數據指標的落地性。

上圖明確保障落地性，數據指標體系中不同指標及數據指標維度的制定要求。并通過如指標探源、維度探源、指標實際數據源與預算數據源這些驗證指標的落地情況。

???指標埋點流程

數據指標在采集數據前，除了直接采集業務系統數據外，可能還需要設計數據埋點來采集數據指標所需信息。從指標埋點流程中我們來觀察指標落地方法。

?