來源：數(shù)據(jù)治理體系

全文共 4761 個字,，建議閱讀 10 分鐘

數(shù)據(jù)治理是企業(yè)數(shù)據(jù)建設必不可少的一個環(huán)節(jié),。

好的數(shù)據(jù)治理體系可以盤活整條數(shù)據(jù)鏈路,，最大化保障企業(yè)數(shù)據(jù)的采集、存儲,、計算和使用過程的可控和可追溯,。

如何構建企業(yè)數(shù)據(jù)治理體系？企業(yè)數(shù)據(jù)治理過程需要注意哪些問題,？總體而言,，不能一口一個胖子，路要一步一步地走,。

下面我將結合企業(yè)級數(shù)據(jù)治理經(jīng)驗,，詳細介紹從0到1搭建數(shù)據(jù)治理體系全流程，幫你梳理數(shù)據(jù)治理的主要內容以及過程中會遇到的哪些坑,。

如有遺漏之處，歡迎留言評論區(qū)探討,。

1 數(shù)據(jù)治理到底是在做什么

1.1  一個小故事

在正文之前,，我先介紹一個小故事。

年底了,，企業(yè)財務管理員小張需要統(tǒng)計公司的金融財務情況,。忙碌了一年，公司老板亟需知道公司目前的運營狀況。

小張需要考慮哪幾個點呢：

“

1. 公司目前有哪些財產(chǎn),？
2. 這些財產(chǎn)從哪里來,？用到了哪些地方？
3. 是否所有財產(chǎn)的使用均符合規(guī)范和制度,？

”

幸好小張年初已經(jīng)制定了一套管理標準,。每筆財產(chǎn)的出入都有記錄且嚴格把控使用情況，過程可追溯可審查,。

最后,，小張得到了領導們的一致好評。

1.2 數(shù)據(jù)治理做的事情

故事中的小張監(jiān)管著公司所有金融財產(chǎn)活動,，確保財產(chǎn)使用的有序高效,。這也是數(shù)據(jù)治理角色的類似功能。

“

數(shù)據(jù)治理的核心工作： 在企業(yè)的數(shù)據(jù)建設進程中,，保障企業(yè)的數(shù)據(jù)資產(chǎn)得到正確有效地管理,。

”

一般來說，數(shù)據(jù)從外部或者內部產(chǎn)生后,，經(jīng)過大數(shù)據(jù)手段處理,，流轉到不同的業(yè)務端，為企業(yè)的上層應用提供數(shù)據(jù)賦能,。

整個過程,，如圖所示。

• 我們先做一些類似數(shù)據(jù)同步的工作將數(shù)據(jù)放入到大數(shù)據(jù)系統(tǒng)中
• 數(shù)據(jù)進來后需要管理和存儲,，即參考建模理論和實際場景建設數(shù)倉
• 經(jīng)過主題規(guī)劃,、維度確定、標簽計算輸出等步驟處理
• 數(shù)據(jù)輸出到報表,、應用端使用

整體流程數(shù)據(jù)治理體系將全程監(jiān)管,。要確認進出系統(tǒng)的數(shù)據(jù)質量怎么樣？是否可轉化數(shù)據(jù)資產(chǎn),？數(shù)據(jù)血緣是否可追溯,、數(shù)據(jù)安全等問題。

“

臟亂差的數(shù)據(jù)是無法使用的,，甚至嚴重埋雷,。

”

2 為什么要做數(shù)據(jù)治理

有一些企業(yè)對這個問題的概念很模糊，認為目前的數(shù)據(jù)規(guī)模很小,，人為可控,，暫時不需要做數(shù)據(jù)治理。

但是在實際使用中還是會遇到很多問題：

• 數(shù)據(jù)監(jiān)管力度不夠,，出現(xiàn)臟數(shù)據(jù)
• 數(shù)據(jù)體系逐漸規(guī)模變大,，管理混亂
• 數(shù)據(jù)的血緣丟失,，無法回溯舊、老的數(shù)據(jù)

無論企業(yè)的數(shù)據(jù)規(guī)模如何,，我認為還是提起做好數(shù)據(jù)治理的規(guī)劃,。考慮到成本的問題,，可以分階段進行,。

“

為什么要進行數(shù)據(jù)治理：

1. 你的數(shù)據(jù)是否真的可用，缺失和異常值怎么辦,？
2. 數(shù)據(jù)從哪里來到哪里去,，血緣信息是否丟失
3. 數(shù)據(jù)訪問是否安全，明文標識還是加密,？
4. 新的數(shù)據(jù)加工參考什么規(guī)范,，維度和標簽管理是否存在標準？

”

有劍在手不用和無劍可用是兩回事,。提前做好數(shù)據(jù)治理規(guī)劃,，會節(jié)省后續(xù)的改造成本，避免過程冗余重構或者推倒重來等情況的發(fā)生,。

數(shù)據(jù)治理可以有效保障數(shù)據(jù)建設過程在一個合理高效的監(jiān)管體系下進行,，最終提供高質量、安全,、流程可追溯的業(yè)務數(shù)據(jù),。

3 數(shù)據(jù)治理體系

企業(yè)數(shù)據(jù)治理體系包括數(shù)據(jù)質量管理、元數(shù)據(jù)管理,、主數(shù)據(jù)管理,、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全及數(shù)據(jù)標準等內容,。

1）數(shù)據(jù)質量

一般采用業(yè)內常用的標準來衡量數(shù)據(jù)質量的好壞：完整性,、準確性、一致性和及時性,。

• 完整性：數(shù)據(jù)的記錄和信息是否完整,，是否存在缺失情況
• 準確性：數(shù)據(jù)匯總記錄的信息和數(shù)據(jù)是否準確，是否存在異?；蛘咤e誤
• 一致性：多個業(yè)務數(shù)倉間的公共數(shù)據(jù),，必須在各個數(shù)據(jù)倉庫中保持一致
• 及時性：數(shù)據(jù)能及時產(chǎn)出和預警

2）元數(shù)據(jù)管理

元數(shù)據(jù)是關于數(shù)據(jù)的組織、數(shù)據(jù)域及其關系的信息,，通俗理解,，元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)。

元數(shù)據(jù)包含技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù),?？梢詭椭鷶?shù)據(jù)分析人員清楚了解企業(yè)擁有什么數(shù)據(jù)，它們存儲在哪里,，如何抽取,、清理、維護z這類數(shù)據(jù),，也即數(shù)據(jù)血緣,。

• 幫助構建業(yè)務知識體系，確立數(shù)據(jù)業(yè)務含義可解釋性
• 提升數(shù)據(jù)整合和溯源能力,，血緣關系可維護
• 建立數(shù)據(jù)質量稽核體系,，分類管理監(jiān)控

3）主數(shù)據(jù)管理

企業(yè)主數(shù)據(jù)指企業(yè)內一致并共享的業(yè)務主體，大白話理解就是各專業(yè)公司和業(yè)務系統(tǒng)間共享的數(shù)據(jù),。

常見的主數(shù)據(jù)比如公司的員工,、客戶數(shù)據(jù)、機構信息,、供應商信息等,。這些數(shù)據(jù)具有權威性和全局性，可歸約至公司的企業(yè)資產(chǎn),。

一般主數(shù)據(jù)管理需要遵循如下幾點：

• 管理和監(jiān)管各組織機構,、子公司、部門對主數(shù)據(jù)的訪問,，制定訪問規(guī)范和管理原則
• 定期進行主數(shù)據(jù)評估,，判斷既定目標的完善程度
• 組織相關人員和機構，統(tǒng)一完善主數(shù)據(jù)建設
• 提供技術和業(yè)務流程支持,，全集團集中統(tǒng)籌

4）數(shù)據(jù)資產(chǎn)管理

一般企業(yè)在數(shù)字化轉型時都會考慮數(shù)據(jù)資產(chǎn)梳理,。你的數(shù)據(jù)有沒有被合理利用？如何產(chǎn)生最大價值,？這是數(shù)據(jù)資產(chǎn)管理關心的核心工作,。

在構建企業(yè)資產(chǎn)時一般會考慮不同角度，即業(yè)務角度和技術角度,，最后進行合并,，輸出統(tǒng)一的數(shù)據(jù)資產(chǎn)分析，并向外提供統(tǒng)一的數(shù)據(jù)資產(chǎn)查詢服務,。

如何盤活數(shù)據(jù),，形成數(shù)據(jù)資產(chǎn)，提供完整的數(shù)據(jù)資產(chǎn)全景視圖,，可方便運營者全局,、宏觀地掌控企業(yè)資產(chǎn)動態(tài)。

5）數(shù)據(jù)安全

數(shù)據(jù)安全是企業(yè)數(shù)據(jù)建設必不可少的一環(huán),，我們的數(shù)據(jù)都存儲在大大小小的磁盤中,，對外提供不同程度的查詢和計算服務,。

需要定時對數(shù)據(jù)進行核查、敏感字段加密,、訪問權限控制,，確保數(shù)據(jù)能夠被安全地使用。

6）數(shù)據(jù)標準

大白話理解,，我們需要在組織內定義一套關于數(shù)據(jù)的規(guī)范,，好讓我們都能理解這些數(shù)據(jù)的含義。

今天張三說這個客戶號是辦理銀行卡的客戶,，明天李四又說是借貸過的客戶,。對比一看，兩者的字段類型和長度一致,，到底要采納哪個意見呢,？

數(shù)據(jù)標準是保障數(shù)據(jù)的內外部使用和交換的一致性和準確性的規(guī)范性約束，通過統(tǒng)一規(guī)范,，消除二義性,。

4 企業(yè)數(shù)據(jù)治理實施過程

4.1 數(shù)據(jù)治理實施框架

數(shù)據(jù)治理體系是為了規(guī)范業(yè)務數(shù)據(jù)規(guī)范、數(shù)據(jù)標準,、數(shù)據(jù)質量和數(shù)據(jù)安全中的各類管理任務活動而建立的組織,、流程與工具。

通過一個常態(tài)化的數(shù)據(jù)治理組織,，建立數(shù)據(jù)集中管理長效機制,，規(guī)范數(shù)據(jù)管控流程，提升數(shù)據(jù)質量,，促進數(shù)據(jù)標準一致,，保障數(shù)據(jù)共享與使用安全，從而提高企業(yè)運營效率和管理水平,。

4.2 數(shù)據(jù)治理組織架構

企業(yè)數(shù)據(jù)治理體系除了在技術方面的實施架構,，還需要管理方面的組織架構支撐。

一般在數(shù)據(jù)治理建設初期,，集團會先成立數(shù)據(jù)治理管理委員會,。從上至下由決策層、管理層,、執(zhí)行層構成,。決策層決策、管理層制定方案,、執(zhí)行層實施,。層級管理、統(tǒng)一協(xié)調,。

4.2.1 組織架構

1）決策層

提供數(shù)據(jù)標準管理的決策職能,，通俗理解即拍板定方案,。

2）管理層

• 審議數(shù)據(jù)標準管理相關制度
• 對跨部門難的數(shù)據(jù)標準管理爭議事項進行討論并決策
• 管理重大數(shù)據(jù)標準事項，提交信息科技管理委員會審議

3）執(zhí)行層

• 業(yè)務部門：負責業(yè)務線數(shù)據(jù)標準的制定,、修改,、復審，推廣落實數(shù)據(jù)標準等
• 科技開發(fā)：承擔治理平臺,、數(shù)據(jù)標準、數(shù)據(jù)質量等實施工作,；系統(tǒng)設計和開發(fā)工作中遵循數(shù)據(jù)標準
• 科技運營：負責技術標準的制定和技術推廣

4.2.2 管理層職責

1）項目經(jīng)理

• 確定項目目標,、范圍和計劃
• 制定項目里程碑
• 管理跨項目協(xié)同

2）專家評審組

評審項目方案，確定方案的合理性

3）PMO

• 確保項目按計劃執(zhí)行
• 管理項目重大風險
• 執(zhí)行跨項目協(xié)同,、溝通
• 組織項目關鍵評審

3）數(shù)據(jù)治理專項組

執(zhí)行各項目的落地實施和運營推廣,，推動執(zhí)行層的實施數(shù)據(jù)治理技術落地和項目進展。

4.2.3 執(zhí)行層職責

數(shù)據(jù)架構師,、數(shù)據(jù)治理專家和業(yè)務專員形成數(shù)據(jù)治理'鐵三角',，緊密協(xié)作，推進數(shù)據(jù)治理與數(shù)據(jù)架構落地,。

1）業(yè)務專員

業(yè)務專員作為業(yè)務部門數(shù)據(jù)治理的接口人,，在標準、質量,、應用等領域組織業(yè)務人員開展工作

• 定義數(shù)據(jù)規(guī)則
• 保障數(shù)據(jù)質量
• 提出數(shù)據(jù)需求

2）數(shù)據(jù)治理專家

數(shù)據(jù)治理專家作為數(shù)據(jù)治理組成員,，負責設計數(shù)據(jù)架構，運營數(shù)據(jù)資產(chǎn),；牽頭組織業(yè)務,、IT達成數(shù)據(jù)治理目標。

• 構建數(shù)據(jù)邏輯模型
• 監(jiān)控數(shù)據(jù)質量
• 運營數(shù)據(jù)資產(chǎn)

3）數(shù)據(jù)架構師

數(shù)據(jù)架構師作為IT開發(fā)部門的專家,，承擔數(shù)據(jù)標準落地,、模型落地的重任，協(xié)助解決數(shù)據(jù)質量問題,。

• 數(shù)據(jù)標準落地
• 邏輯模型落地
• 物理模型落地

4.3 數(shù)據(jù)治理平臺

在確定了技術實施方案和組織管理架構,，下面需要進行數(shù)據(jù)治理體系的落地實施。

在大型企業(yè)中一般會開發(fā)一個完整的數(shù)據(jù)治理平臺,，囊括所有數(shù)據(jù)治理功能,，對外提供平臺服務。

1）核心功能

數(shù)據(jù)治理平臺作為數(shù)據(jù)治理的產(chǎn)品體系,，旨在保障數(shù)據(jù)平臺的數(shù)據(jù)是安全,、可靠的、標準的,、有價值的,。

• 數(shù)據(jù)資產(chǎn)管理：提供面向用戶的場景化搜素,，提供全景數(shù)據(jù)資產(chǎn)地圖，方便快速查找資產(chǎn)和資產(chǎn)分析
• 數(shù)據(jù)標準管理：統(tǒng)一定制數(shù)據(jù)標準,，提高包括字段,、碼值、數(shù)據(jù)字典管理,，保障業(yè)務數(shù)據(jù)和中臺數(shù)據(jù)的統(tǒng)一標準
• 數(shù)據(jù)質量監(jiān)控：提供事前,、事中、事后的數(shù)據(jù)質量體系,，支持數(shù)據(jù)質量監(jiān)控規(guī)則配置,、告警管理等功能
• 數(shù)據(jù)安全：提供數(shù)據(jù)安全脫敏、安全分級和監(jiān)控
• 數(shù)據(jù)建模中心：統(tǒng)一建模,，提供業(yè)務系統(tǒng)建模和模型管理

2）元數(shù)據(jù)管理

元數(shù)據(jù)管理系統(tǒng)作為數(shù)據(jù)治理平臺的前端展示門戶,，幫助實現(xiàn)對數(shù)據(jù)資產(chǎn)的快速檢索能力，提高數(shù)據(jù)使用有效性和效率,。

通過建立完整且一致的元數(shù)據(jù)管理策略,，提供集中、統(tǒng)一,、規(guī)范的元數(shù)據(jù)信息訪問,、查詢和調用功能。

3）數(shù)據(jù)質量

• 數(shù)據(jù)質量監(jiān)控：支持所有用戶進行數(shù)據(jù)質量監(jiān)控規(guī)則配置
• 規(guī)則阻斷：配置數(shù)據(jù)質量監(jiān)控阻斷規(guī)則,，數(shù)據(jù)質量出現(xiàn)差異可實時阻斷下游作業(yè)運行,，屏蔽錯誤結果鏈路擴散。
• 告警：數(shù)據(jù)質量出現(xiàn)預設偏差,，及時發(fā)出預警通知及時修復

4）數(shù)據(jù)標準

支持定制統(tǒng)一的數(shù)據(jù)標準平臺,，包括字段標準管理，碼值標準管理以及字典管理,，業(yè)務源數(shù)據(jù)和中臺數(shù)據(jù)統(tǒng)一標準,。

5）數(shù)據(jù)安全

基于集團數(shù)據(jù)資產(chǎn)實現(xiàn)數(shù)據(jù)安全分級管理，自動識別安全信息,；提供數(shù)據(jù)訪問安全行為監(jiān)測,，及時識別訪問風險。

4.4 數(shù)據(jù)治理評估

數(shù)據(jù)治理平臺開發(fā)完成并運行,，需要對整體數(shù)據(jù)治理體系的效果進行驗證和評估,。

“

1）數(shù)據(jù)是否可以消除'臟、亂,、差'的現(xiàn)象
2）數(shù)據(jù)資產(chǎn)是否最大價值化
3）所有數(shù)據(jù)的血緣是否完整可追溯,。。。

”

1）數(shù)據(jù)資產(chǎn)

通過構建數(shù)據(jù)資產(chǎn)管理體系,，實現(xiàn)資產(chǎn)全覆蓋,，并支持全局搜索和精準定位目標資產(chǎn)。

• 實現(xiàn)全局搜索,，面向用戶提供場景化檢索服務
• 支持標簽,、數(shù)據(jù)地圖、表名和字段名等多種檢索維度
• 支持進行數(shù)據(jù)地圖,，源業(yè)務數(shù)據(jù)字典的結果篩選
• 比如支持PV/UV用戶搜索和資產(chǎn)展示,，明確服務目標

2）數(shù)據(jù)標準

新舊數(shù)據(jù)標準沉淀，打通了數(shù)據(jù)建模工具,、數(shù)據(jù)標準庫和詞根標準庫,，落地數(shù)據(jù)標準和詞根。

• 實現(xiàn)數(shù)據(jù)標準庫100%拉通
• 智能識別數(shù)據(jù)標準和引用
• 客戶端同步更新數(shù)據(jù)標準,、詞根

3）數(shù)據(jù)安全

保持事前制度建設、事中技術管控,、事后監(jiān)控審計的原則建立全流程數(shù)據(jù)安全管控體系,。

基于以上數(shù)據(jù)安全管控體系，支持數(shù)據(jù)安全定級,，構建靈活的數(shù)據(jù)安全共享流程,。

4）數(shù)據(jù)質量

通過數(shù)據(jù)質量雷達圖，定期進行數(shù)據(jù)和任務質量打分,，綜合考察數(shù)據(jù)質量效果,。

• 數(shù)據(jù)完整性：查看數(shù)據(jù)項信息是否全面、完整無缺失
• 告警響應程度：日常管理,、應急響應,、降低影響；避免數(shù)據(jù)損毀和丟失
• 監(jiān)控覆蓋程度：確保數(shù)據(jù)遵循統(tǒng)一的數(shù)據(jù)標準和規(guī)范要求
• 作業(yè)穩(wěn)定性：監(jiān)控作業(yè)穩(wěn)定性,，是否存在作業(yè)異常等問題
• 作業(yè)時效性：檢查任務對應的數(shù)據(jù)項信息獲取是否滿足預期要求

5 數(shù)據(jù)治理的幾點誤區(qū)

1）數(shù)據(jù)治理是否要做得大而全

“

這是一個經(jīng)典問題,，一般對于不同階段和規(guī)模的企業(yè)，數(shù)據(jù)治理的實施程度會有所不同,。一般建議先根據(jù)自身的數(shù)據(jù)狀況分階段進行,，避免盲目鋪開規(guī)模，過程中可調整,。

”

2）數(shù)據(jù)治理只是技術考慮的事情

“

正如文中所說,，數(shù)據(jù)治理不僅僅是技術團隊的事情，而是整個集團一起協(xié)作完成,。其中就包括各業(yè)務線以及其他管理組織,，沒有一個好的實施方案和協(xié)作機制，往往事倍功半。

”

3）數(shù)據(jù)治理可以短期見效

“

數(shù)據(jù)治理是個長期過程,，會跟隨著企業(yè)數(shù)據(jù)的規(guī)模和數(shù)倉規(guī)劃的變更同步調整,，部分功能可能會在短期內卓有成效，完整體系搭建短期很難實現(xiàn),。

”

4）必須得有工具平臺,，才能開展數(shù)據(jù)治理

“

俗話說工欲善其事必先利其器，有好的工具當然是更好,，前提是已經(jīng)有了成熟的數(shù)據(jù)治理體系規(guī)劃和策略,。工具和技術手段目前市面上很成熟，先把理論給鋪墊好,。

”

5）數(shù)據(jù)治理感覺很模糊,？不知道最后的落地結果

“

數(shù)據(jù)治理是一個長期工作，需要相關從業(yè)者根據(jù)企業(yè)的數(shù)據(jù)現(xiàn)狀和管理模式去構建和調整,，建議邊做實踐邊總結歸納,，小步慢跑是一個很好的方式。

”

??