本文來自談數(shù)據。

數(shù)據治理是國外銀行業(yè)自90年代興起的概念，最開始的主要目標是進行客戶數(shù)據清理、完善數(shù)據標準、確保銀行數(shù)據的完整性，隨著銀行業(yè)務不斷拓展、數(shù)據及其相關理論逐步完善，數(shù)據治理的概念和方法在金融行業(yè)已經達成了共識，即數(shù)據不但是有價值而且還是有競爭價值的資產，為了讓數(shù)據一致、準確、及時地交付給數(shù)據使用者，最重要的是，為了讓數(shù)據能被使用者充分理解，企業(yè)必須要對現(xiàn)有的數(shù)據進行治理。

數(shù)據治理體現(xiàn)了圍繞企業(yè)數(shù)據處理所進行的數(shù)據質量、數(shù)據管理、數(shù)據政策、業(yè)務流程管理與風險管理等一系列實踐的融合。企業(yè)通過數(shù)據治理可以保證數(shù)據的可信性，并且對數(shù)據認責的流程和方法可以施以積極主動的控制。數(shù)據治理需要以多種形式綜合使用各種技術手段來輔助治理流程，需要時要賦予相關人員以權力得用技術手段來建立流程。

PS：數(shù)據資產確權認責，確什么權，認什么責？

01數(shù)據不佳的根本原因

我們經常會聽到數(shù)據使用者對數(shù)據的抱怨：

“我們有很多的重復數(shù)據”---沒有解決方案

“數(shù)字永遠加不起來”---不同部門使用不同的代碼和統(tǒng)計口徑

“我的報告到達總是延遲，得到的總是過時的信息”---提供關鍵數(shù)據的接口經常出錯

“我們永遠不知道在哪里可以找到我們想要的信息”---缺乏對數(shù)據的理解

“我們不能同意對我們的考核指標”---部門使用不同的標準來衡量他們的績效

“我怎樣才能獲得這個信息”---沒有明確的保密和安全流程而這些數(shù)據問題的來源是多方面的，業(yè)務和IT都會產生數(shù)據問題。下面顯示的是來自一個調研機構的調查結果。

通過上面的調研結果，我們可以看到各種數(shù)據問題產生的主要原因包括：

76％數(shù)據錄入錯誤

53％源系統(tǒng)的變化

48％數(shù)據遷移或項目改建

46％用戶不同的期望

26％系統(tǒng)錯誤

今天，許多組織開始認識到，為了把數(shù)據作為一項有價值的商業(yè)資產，或者甚至作為他們的財務資產，他們需要做一些更好的工作來管理這些數(shù)據。

現(xiàn)實的情況是，企業(yè)往往在口頭上承認數(shù)據是企業(yè)的經營資產。他們談論實施組織，標準，規(guī)則，流程和工具來管理和提高數(shù)據的需要，但未能實現(xiàn)，并支持他們。因此，數(shù)據的質量就會大打折扣。

“我們用系統(tǒng)來管理我們業(yè)務的各個方面，卻沒有一個地方來管理系統(tǒng)本身”，如果企業(yè)數(shù)據管理流程失敗了，數(shù)據仍然會流經我們的IT系統(tǒng)，但是這些數(shù)據將不會也不能自我管理！

雖然我們采取了相關的數(shù)據管理措施，如：數(shù)據質量管理、數(shù)據整合、元數(shù)據管理、數(shù)據標準管理、數(shù)據模型和數(shù)據安全方面的管理。但是，流經我們各個系統(tǒng)的數(shù)據的可信度，完整性，安全性還是得不到保證的。因為數(shù)據質量問題的根本原因是：缺乏數(shù)據政策，數(shù)據標準，指導原則和規(guī)則，缺乏工具和流程。

02數(shù)據問題制約了業(yè)務的快速發(fā)展

一份研究機構所作的調研結果是：47％的決策者對數(shù)據沒有信心；59％的決策者遇到缺失的數(shù)據；42％的決策者知道，他們使用了錯誤的信息。因此，數(shù)據問題將制約業(yè)務的快速發(fā)展，導致企業(yè)缺乏競爭力。

1、數(shù)據質量缺陷將導致：

•由于財務報表上的有失準確和數(shù)據之間的互相矛盾帶來更高的違規(guī)風險

•由于客戶信息的有失準確造成市場營銷的低效

•過度打擾客戶

2、數(shù)據模型缺陷將導致：

•不同業(yè)務和數(shù)據主題之間數(shù)據的定義不一致

•資源浪費：重復的數(shù)據對象和數(shù)據元素

•耗時的工作去找到你要找的數(shù)據。

•選擇了錯誤的數(shù)據來訪問

3、元數(shù)據管理缺陷將導致：

•尋找一個數(shù)據需要花費很長的時間

•由于認識不足造成低效或錯誤的決策

•延長開發(fā)周期，提高培訓成本

•由于對數(shù)據和業(yè)務規(guī)則缺乏信心造成低使用率

4、數(shù)據整合缺陷將導致：

•由于各系統(tǒng)之間數(shù)據互相矛盾或不能關聯(lián)帶來痛苦的數(shù)據比對

•由于缺乏統(tǒng)一的整合方法給項目帶來不必要的復雜性和不一致性

•重復建設，冗余復雜的接口，性能問題

5、主數(shù)據管理缺陷將導致：

•客戶和產品的缺乏標準或缺乏對應會帶來客戶服務的問題

•延長了產品開發(fā)和導入的周期

•給深入了解客戶之間的關系和層級帶來困難

6、安全和隱私缺陷將導致：

•帶來不斷增加的合規(guī)風險，分散或不一致的數(shù)據

•在客戶、合作方、和監(jiān)管機構眼中銀行的信譽下降

•身份被盜用和授權被濫用的風險

業(yè)界利用數(shù)據整合的優(yōu)勢推行信息導向經營戰(zhàn)略是銀行在激烈的市場競爭中獲得競爭優(yōu)勢的最優(yōu)選擇。從全球多家銀行業(yè)的實踐經驗來看，通過信息導向的經營戰(zhàn)略取得成功的銀行通常具備下述特征：

以數(shù)據分析和數(shù)字化管理的理念貫徹整個機構；

決策者藉由數(shù)據運用，找到駕馭及引導變革的機會與關鍵信息；

以數(shù)據為中心的業(yè)務流程設計覆蓋各個主要領域的管理需求；

建立數(shù)字化管理的組織文化，依據量化數(shù)據進行決策，不論是新進人員或具經驗的銀行人員，均可基于一致的資料基礎上做出業(yè)務決策；

組織靈活有彈性，隨時能夠發(fā)展新的業(yè)務模式；能夠創(chuàng)造20-30%的經濟效益。

03數(shù)據治理概念

數(shù)據治理這個名詞翻譯自英文Data Governance，有時也會被翻譯成“數(shù)據管控”。業(yè)界權威組織Gartner對數(shù)據治理定義是：數(shù)據治理是通過組織、制度、流程、技術的結合與實踐活動，用以管理、維護和開發(fā)作為企業(yè)信息資產的數(shù)據。治理不同于管理，管理是你做出的決定，治理就是為這些決定制定愿景，政策，標準，流程和規(guī)則。

治理是執(zhí)政的行為。它涉及到定義期望值，授予權力（決策權），并且對結果進行驗證。

治理是統(tǒng)一的管理。有凝聚力的政策，指導，流程和規(guī)則，以確保我們在合適的時間，以正確的方式在做正確的事情。

治理將為企業(yè)建立一個愿景，并制定相應的政策，企業(yè)愿景，指導原則，標準和規(guī)則，管理是確保這些政策，標準，原則和規(guī)則的實際應用，并在新的和現(xiàn)有的系統(tǒng)中體現(xiàn)。治理把與業(yè)務戰(zhàn)略相關的決策和監(jiān)督與實際操作緊密聯(lián)系起來。

因此，數(shù)據治理也不同于數(shù)據管理（Data Management），數(shù)據管理更關注的是管理過程，例如數(shù)據質量管理、數(shù)據標準管理。而數(shù)據治理關注的是組織架構、制度、流程這些管理要素的整合和執(zhí)行。

對于銀行來講，數(shù)據管理的內容會有很多方面，而數(shù)據治理的內容只有一個。因此數(shù)據治理可以理解為是對數(shù)據管理的管理。

近些年來，國內多家銀行在數(shù)據治理領域也在做不斷的探索，很多大中型銀行都啟動了數(shù)據治理相關的咨詢項目和落地項目，但是在這些項目實踐中也發(fā)現(xiàn)，缺乏成熟的方法論、缺乏整體的治理框架、缺乏整體的實施路線圖，這些問題往往制約著數(shù)據治理工作的開展。

為了確保從數(shù)據中獲取商業(yè)價值，所有與數(shù)據和信息相關的治理需要協(xié)同運作。這意味著他們將承擔共同的責任，以確保正確的數(shù)據被傳送，并在正確的時間，以正確的方式，被正確的人員使用

IT治理。監(jiān)督選定的技術是否符合企業(yè)的IT基礎架構，與經過批準的標準的技術和IT流程一致。

數(shù)據治理。確保了數(shù)據是正確的，數(shù)據的定義和使用是一致的，BI治理將確保數(shù)據以正確的方式展示，倉庫治理和IT治理通過確保倉庫和IT基礎架構的有效性來支持數(shù)據的正確交付。

數(shù)倉治理。指導和控制數(shù)據倉庫的管理，對DW的有效性和效率負責。IT治理政策（像IT支持政策，版本控制等）和數(shù)據治理流程（如數(shù)據分析和清潔）也應適用于數(shù)據倉庫，使其高效和有效的。

BI治理。對商業(yè)智能（BI）和業(yè)務分析進行管理控制，負責信息的正確使用和傳遞。

上圖顯示了不同的治理類型在EDW中的關系，從左到右：

1、左邊數(shù)據產生，及數(shù)據的輸入（手工）或數(shù)據創(chuàng)建（辦自動化/自動）。

數(shù)據治理：負責建立輸入或創(chuàng)建數(shù)據的政策、指導原則、標準和規(guī)則。

2.產生的數(shù)據存儲在運營系統(tǒng)中，支持報表或者被其他操作流程提取。

數(shù)據治理：負責在操作型系統(tǒng)中制定數(shù)據訪問和安全政策，以及在定義數(shù)據和數(shù)據建模時如何應用標準。

IT治理：負責確保操作型系統(tǒng)持續(xù)可用，用戶可以輸入數(shù)據。

3.數(shù)據倉庫從不同的獨立的源系統(tǒng)中獲取

•數(shù)據治理：負責決定什么數(shù)據應該被獲取，以及數(shù)據獲取的頻率。

•IT治理：負責決定數(shù)據獲取的技術，工具使用的條件以及文件格式，等等。

•倉庫治理：負責確保獲取數(shù)據時倉庫是可用的，以及數(shù)據提交（batch,file）的格式，等等。

4.獲取的數(shù)據存儲在數(shù)據倉庫的數(shù)據獲取層:

•數(shù)據治理：負責決定數(shù)據進行整合之前是否進行數(shù)據剖析（data profiling），是否額外的控制字段需要加入到數(shù)據結構中。

•IT治理：負責確保IT基礎架構已經建立(數(shù)據傳輸?shù)木W絡，倉庫服務器）。

•倉庫治理：負責決定多少歷史數(shù)據必須加載，哪些數(shù)據可以歸檔。

5.獲取的源數(shù)據經過轉換進入到數(shù)據整合層，數(shù)據整合層提供一個整合的數(shù)據視圖而不論數(shù)據的來源，整合層具有范式化的數(shù)據結構來支持數(shù)據在企業(yè)方位內可以重用。

•數(shù)據治理：定義元數(shù)據管理政策，確保數(shù)據具有業(yè)務含義。

•IT治理：標準的數(shù)據建模工具。

•倉庫治理：負責確保DW容量規(guī)劃符合將來新的數(shù)據導入需要。

6.范式化和集成的數(shù)據需要在訪問層被“非范式化”，使得數(shù)據能夠目標業(yè)務用戶訪問：

•數(shù)據治理：定義數(shù)據訪問政策，即定義什么角色可以訪問哪類數(shù)據。

•IT治理：定義開發(fā)訪問層組件的IT版本控制策略。

•倉庫治理：定義和監(jiān)控SLA協(xié)議，確保目前的性能和工作負載管理是最優(yōu)的。

•BI治理：制定訪問層業(yè)務元數(shù)據建立的指導原則和規(guī)則。

7.訪問層提供的數(shù)據發(fā)布到目標系統(tǒng)（分析應用和操作，立方體，報表，文件等），使信息消費。

8.對存儲在目標系統(tǒng)的數(shù)據作進一步的分析或決策（業(yè)務用戶或分析師）。

因此，數(shù)據治理是一個跨系統(tǒng)、跨業(yè)務部門和技術部門的系統(tǒng)工程，同時作為企業(yè)高階的規(guī)劃，數(shù)據治理的規(guī)劃通常是在企業(yè)發(fā)展戰(zhàn)略高層次的規(guī)劃指引下，結合IT治理規(guī)劃進行。

04數(shù)據認責概念

那么，誰對數(shù)據負責呢，有人會說：“不是IT負責嗎？”。但是通常IT對此沒有太大的幫助，除非他們具有以下的業(yè)務知識：

•能夠解釋在業(yè)務使用環(huán)境中需要的信息和可能用到的數(shù)據。

•識別受污染數(shù)據的根源和其他數(shù)據問題的根源

•解決數(shù)據問題

•從其他數(shù)據分離出干凈的數(shù)據，等等

IT是負責系統(tǒng)和基礎設施的，對數(shù)據認責的人員應該來自于業(yè)務部門，因為他們是系統(tǒng)的使用人員，知道什么是最好的數(shù)據。Gartner在2008年的一份報告中指出：“以提升數(shù)據質量為己任的企業(yè)必須要指派數(shù)據管理人員。數(shù)據認責若要成功，企業(yè)文化必須轉變，數(shù)據應視為競爭性資產而非不得已而為之的手段。”

數(shù)據認責的主要內涵是確定數(shù)據治理工作的相關各方的責任和關系，包括數(shù)據治理過程中的決策、執(zhí)行、解釋、匯報、協(xié)調等活動的參與方和負責方，以及各方承擔的角色和職責等。

•數(shù)據認責適用于所有參與其中的人員，如：管理和提升數(shù)據質量的數(shù)據專家，當錄入數(shù)據時需要了解數(shù)據政策和規(guī)則的業(yè)務用戶，當數(shù)據變更或規(guī)則變更時需要知情的數(shù)據消費者，正在進行數(shù)據開發(fā)項目需要清楚數(shù)據管理標準，指導方針，工具和流程的項目組成員。

•認責制可以防止事情“遭忽略而產生缺陷/失敗”，這經常存在于企業(yè)的責任認定中。

•認責制并不一定都在企業(yè)的高層人員，而是定位在最適當?shù)乃剑灰@個人員能夠對這項工作擔負起責任。

數(shù)據認責要達到的目標

•形成由數(shù)據治理負責部門牽頭的，全員參與的主動認責文化，重視問題的溝通，能夠主動剖析和快速響應出現(xiàn)的認責問題；

•建立全行統(tǒng)一的認責流程，認責流程管理持續(xù)優(yōu)化；

•細化和落實各類數(shù)據認責流程、管理辦法，并成功地將數(shù)據認責納入企業(yè)績效考核體系當中；

•執(zhí)行基于數(shù)據域的數(shù)據認責模式，數(shù)據域的劃分清晰且合理，理清各部門、各小組以及各參與人所承擔的角色職責，在全行推廣數(shù)據認責。

下圖顯示了一個數(shù)據問題管理流程，在這個流程中我們可以看到數(shù)據認責的四個主要的角色：

•數(shù)據使用者

需要理解數(shù)據標準、數(shù)據制度和規(guī)則，遵守和執(zhí)行數(shù)據治理相關的流程，根據數(shù)據的相關要求使用數(shù)據，并提出數(shù)據質量問題。

•數(shù)據所有者

對數(shù)據資產負責，同時對數(shù)據管理的政策、標準、規(guī)則、流程負責，提供數(shù)據的業(yè)務需求，分配數(shù)據的使用權，解釋數(shù)據的業(yè)務規(guī)則和含義，執(zhí)行關于數(shù)據分類、訪問控制和數(shù)據管理的最終決策。

•數(shù)據提供者

負責按相關的數(shù)據標準、數(shù)據制度和規(guī)則、業(yè)務操作流程的要求生產數(shù)據，并對生產數(shù)據的質量負責。

•數(shù)據管理者

負責落實數(shù)據需求，對數(shù)據實施管理，保證數(shù)據的完整性、準確性、一致性和隱私，負責數(shù)據的日常管理與維護。