主數(shù)據(jù)管理要點(diǎn)概覽

主數(shù)據(jù)是數(shù)據(jù)之源,，是數(shù)據(jù)資產(chǎn)管理的核心，是信息系統(tǒng)互聯(lián)互通的基石,，是信息化和數(shù)字化的重要基礎(chǔ),。

主數(shù)據(jù)指滿足跨部門業(yè)務(wù)協(xié)同需要的、反映核心業(yè)務(wù)實(shí)體狀態(tài)屬性的基礎(chǔ)信息,。主數(shù)據(jù)相對(duì)交易數(shù)據(jù)而言,，屬性相對(duì)穩(wěn)定，準(zhǔn)確度要求更高,，唯一識(shí)別,。

主數(shù)據(jù)管理是一系列規(guī)則、應(yīng)用和技術(shù),，用以協(xié)調(diào)和管理與企業(yè)的核心業(yè)務(wù)實(shí)體相關(guān)的活動(dòng),。通俗來講，良好的主數(shù)據(jù)治理,、共享和應(yīng)用主要包含：搭建一個(gè)數(shù)據(jù)治理平臺(tái),、建立兩個(gè)體系,、實(shí)現(xiàn)主數(shù)據(jù)三性特征、達(dá)到四個(gè)統(tǒng)一,、實(shí)現(xiàn)五個(gè)超越,、提供六類服務(wù)。

圖1 一體化數(shù)據(jù)治理,、共享和應(yīng)用全景圖

1）一平臺(tái)：搭建一個(gè)一體化數(shù)據(jù)治理和共享平臺(tái),；

2）兩體系：建立兩個(gè)體系（數(shù)據(jù)標(biāo)準(zhǔn)體系和保障體系）；

3）三性特征：確保主數(shù)據(jù)三性特征（唯一性,、準(zhǔn)確性,、共享性）；

4）四個(gè)統(tǒng)一：達(dá)到四個(gè)統(tǒng)一（統(tǒng)一標(biāo)準(zhǔn),、統(tǒng)一來源,、統(tǒng)一接口、統(tǒng)一服務(wù)）,；

5）五個(gè)超越：實(shí)現(xiàn)五個(gè)超越（超越部門,、超越流程、超越主題,、超越系統(tǒng),、超越技術(shù)）；

6）六類服務(wù)：提供六種數(shù)據(jù)服務(wù)（數(shù)據(jù)訂閱/分發(fā)服務(wù),、主數(shù)據(jù)查詢/申請(qǐng)服務(wù),、數(shù)據(jù)調(diào)用API服務(wù)、公共數(shù)據(jù)資源池,、數(shù)據(jù)資源服務(wù),、數(shù)據(jù)即時(shí)服務(wù)）。

建立企業(yè)級(jí)的,、一體化的數(shù)據(jù)治理和共享平臺(tái)，確保數(shù)據(jù)資源中心的數(shù)據(jù)質(zhì)量和安全管理,。詳細(xì)功能描述可以參照數(shù)據(jù)治理平臺(tái)工具前世今生,。

圖2 一體化數(shù)據(jù)治理與服務(wù)平臺(tái)功能架構(gòu)

基于Spring boot框架, 引入Eureka、Zuul,、Feign,、Ribbon等Spring cloud相關(guān)組件，形成微服務(wù)解決方案,前端頁面應(yīng)用服務(wù)實(shí)現(xiàn)前后端分離,。

圖3 數(shù)據(jù)治理平臺(tái)技術(shù)框架

云計(jì)算為數(shù)據(jù)管理工具提供了能夠滿足“共享服務(wù)”功能的新的架構(gòu)模式,，采用微服務(wù)技術(shù)滿足數(shù)據(jù)管理工具的高可用性、穩(wěn)定性和易用性,。人工智能為主數(shù)據(jù)清洗提供了自動(dòng)化思路,，利用自然語言處理及數(shù)據(jù)標(biāo)準(zhǔn)庫提升數(shù)據(jù)質(zhì)量,。

基于統(tǒng)一技術(shù)架構(gòu)、統(tǒng)一指標(biāo)數(shù)據(jù)驅(qū)動(dòng)的元數(shù)據(jù)（業(yè)務(wù)元數(shù)據(jù),、管理元數(shù)據(jù),、技術(shù)元數(shù)據(jù)等）、統(tǒng)一治理工具,、統(tǒng)一安全管控,，通過不同的模塊組合，形成不同的數(shù)據(jù)服務(wù)和治理解決方案,；

圖4 一體化數(shù)據(jù)治理和服務(wù)應(yīng)用場(chǎng)景

實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)“三全管理”：

1）全生命周期（時(shí)間）：基于數(shù)據(jù)指標(biāo)驅(qū)動(dòng)的元數(shù)據(jù)的數(shù)據(jù)資產(chǎn)全過程管理,，采集、存儲(chǔ),、應(yīng)用及管理過程的全記錄與監(jiān)控,。權(quán)衡效率和需求之間的關(guān)系，合理分級(jí)存儲(chǔ)和保留,、銷毀數(shù)據(jù),；

2）全流程（空間）：基于數(shù)據(jù)指標(biāo)驅(qū)動(dòng)的、元數(shù)據(jù)的數(shù)據(jù)資產(chǎn)溯源管理（血緣與影響分析）,，數(shù)據(jù)來源,、存儲(chǔ)位置,、處理方式,、流轉(zhuǎn)過程、安全稽查規(guī)則,，能追本溯源的發(fā)現(xiàn)所有資產(chǎn)的“前世今生”,。

3）全景式（場(chǎng)景）：基于指標(biāo)數(shù)據(jù)驅(qū)動(dòng)的資產(chǎn)全場(chǎng)景視圖，從應(yīng)用場(chǎng)景的維度,，既有全局規(guī)劃的管理者,，也有關(guān)注細(xì)節(jié)定義的使用者，還有加工,、運(yùn)維的開發(fā)者,，提供多層次的圖形化展示，滿足應(yīng)用場(chǎng)景的圖形查詢和輔助分析,。

圖5 數(shù)據(jù)管理體系架構(gòu)

數(shù)據(jù)管理體系包含：數(shù)據(jù)標(biāo)準(zhǔn)管理體系,、數(shù)據(jù)管控體系、數(shù)據(jù)技術(shù)服務(wù)體系,、數(shù)據(jù)質(zhì)量要求,、數(shù)據(jù)安全要求等。

1）數(shù)據(jù)標(biāo)準(zhǔn)管理體系包含業(yè)務(wù)標(biāo)準(zhǔn)（編碼規(guī)則,、分類規(guī)則,、描述規(guī)則等),、數(shù)據(jù)模型標(biāo)準(zhǔn)。數(shù)據(jù)標(biāo)準(zhǔn)管理體系在建設(shè)梳理的過程中,，一般會(huì)衍生出一套代碼體系表或稱主數(shù)據(jù)資產(chǎn)目錄,。數(shù)據(jù)管理標(biāo)準(zhǔn)體系是數(shù)據(jù)管理工作的重中之重，通過主數(shù)據(jù)標(biāo)準(zhǔn)化,，才能為實(shí)現(xiàn)部門和系統(tǒng)間的數(shù)據(jù)集成和共享,，打通企業(yè)橫向產(chǎn)業(yè)鏈和縱向管控奠定數(shù)據(jù)基礎(chǔ)。

2）數(shù)據(jù)管控體系包括主數(shù)據(jù)管理組織,、制度,、流程、應(yīng)用及管理評(píng)價(jià)五部分,。

3）數(shù)據(jù)技術(shù)服務(wù)體系：數(shù)據(jù)管理工具及技術(shù)服務(wù)體系,。

4）數(shù)據(jù)質(zhì)量要求：數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、質(zhì)量評(píng)估等,。

5）數(shù)據(jù)安全要求：數(shù)據(jù)分類,、分級(jí)授權(quán)，數(shù)據(jù)模型等管理,。

建五位一體數(shù)據(jù)運(yùn)維服務(wù)體系,，加強(qiáng)應(yīng)用推廣的組織和培訓(xùn)指導(dǎo)，有序推進(jìn)數(shù)據(jù)共享,、應(yīng)用

圖6 五位一體數(shù)據(jù)運(yùn)維服務(wù)體系

在一個(gè)系統(tǒng),、一個(gè)平臺(tái)，甚至一個(gè)企業(yè)范圍內(nèi),，主數(shù)據(jù)實(shí)體要求具有唯一標(biāo)識(shí)即數(shù)據(jù)編碼,，同名同義，保證同一個(gè)對(duì)象在應(yīng)用的唯一性,，如：統(tǒng)一員工和組織主數(shù)據(jù),，對(duì)所有系統(tǒng)的員工和組織進(jìn)行規(guī)范。

主數(shù)據(jù)實(shí)體內(nèi)容正確性,，數(shù)據(jù)內(nèi)容符合預(yù)期, 真實(shí)反映被描述對(duì)象,；格式合規(guī)性，數(shù)據(jù)格式 (包括數(shù)據(jù)類型,、數(shù)值范圍,、數(shù)據(jù)取值) 。進(jìn)入主數(shù)據(jù)管理的數(shù)據(jù)實(shí)體一定要確保的準(zhǔn)確性,，不能同名不同義,。在主數(shù)據(jù)日常管理中，需要優(yōu)先從權(quán)威途徑獲得主數(shù)據(jù),，如將國(guó)家各部委基礎(chǔ)庫以及企業(yè)通用主數(shù)據(jù)庫（“人口基礎(chǔ)信息庫”,、“法人單位基礎(chǔ)信息庫”,、“自然資源和空間地理基礎(chǔ)信息庫”、“宏觀經(jīng)濟(jì)信息數(shù)據(jù)庫”）融合連通,，為企事業(yè)單位提供服務(wù),。

跨部門、跨系統(tǒng)高度共享的數(shù)據(jù),，可以被多個(gè)認(rèn)識(shí)主體接收和利用,。明確主數(shù)據(jù)的獲取來源、加快數(shù)據(jù)的獲取效率催生了跨業(yè)務(wù)協(xié)同和跨系統(tǒng)共享的管理實(shí)施模式,，這些概念使得各自為政的信息系統(tǒng)在共享整合過程中有據(jù)可循,、有標(biāo)可依。

圖7 主數(shù)據(jù)代碼庫

支持企業(yè)多業(yè)務(wù)類型,、多地域經(jīng)營(yíng)的應(yīng)用,，在流程規(guī)范、系統(tǒng)集成,、主題共享,、系統(tǒng)數(shù)據(jù)一致性等方面都需要通過數(shù)據(jù)標(biāo)準(zhǔn)化來支撐，從而最終提高管理效率,，加強(qiáng)管控落地,。

圖8 數(shù)據(jù)共享性示意圖

數(shù)據(jù)治理工作在提升企業(yè)整體價(jià)值的同時(shí)，也為企業(yè)內(nèi)部的數(shù)據(jù)共享等具體提供了良好的和可持續(xù)的數(shù)據(jù)基礎(chǔ),，為數(shù)據(jù)的進(jìn)一步挖掘和分析夯實(shí)基礎(chǔ),。

在組織范圍統(tǒng)一了數(shù)據(jù)標(biāo)準(zhǔn)，所有成員單位都遵守同樣的數(shù)據(jù)標(biāo)準(zhǔn),，使標(biāo)準(zhǔn)有法可依,；

統(tǒng)一數(shù)據(jù)產(chǎn)生來源，統(tǒng)一配碼,，確保數(shù)據(jù)唯一性，避免重復(fù)填報(bào),、不一致,；

采用數(shù)據(jù)總線的集成方式、對(duì)數(shù)據(jù)集成工作進(jìn)行標(biāo)準(zhǔn)化  的統(tǒng)一化處理,，簡(jiǎn)化工作,，避免了網(wǎng)狀結(jié)構(gòu)的對(duì)接復(fù)雜接口。

為目標(biāo)系統(tǒng)和應(yīng)用提供統(tǒng)一數(shù)據(jù)服務(wù),，避免了分散管理,，數(shù)據(jù)不一致。

超越部門：主數(shù)據(jù)不是那種局限于某個(gè)具體職能部門的數(shù)據(jù)庫,。主數(shù)據(jù)是滿足跨部門業(yè)務(wù)協(xié)同需要的,，是各個(gè)職能部門在開展業(yè)務(wù)過程中都需要的數(shù)據(jù),，是所有職能部門及其業(yè)務(wù)過程的“最大公約數(shù)據(jù)”。

超越流程：主數(shù)據(jù)不依賴于某個(gè)具體的業(yè)務(wù)流程,，但卻是主要業(yè)務(wù)流程都需要的,。主數(shù)據(jù)的核心是反映對(duì)象的狀態(tài)屬性，它不隨某個(gè)具體流程而發(fā)生改變,，而是作為其完整流程的不變要素,。

超越主題：與信息工程方法論中通過聚類方法選擇主題數(shù)據(jù)不同，主數(shù)據(jù)是不依賴于特定業(yè)務(wù)主題卻又服務(wù)于所有業(yè)務(wù)主題的有關(guān)業(yè)務(wù)實(shí)體的核心信息,。例如：物料主數(shù)據(jù),，它有自身的自然屬性，如：規(guī)格,、材質(zhì),，也有業(yè)務(wù)賦予的核心屬性，如：設(shè)計(jì)參數(shù),、工藝參數(shù),、采購、庫存要求,、計(jì)量要求,、財(cái)務(wù)要求等。同時(shí),，主數(shù)據(jù)也要服務(wù)于業(yè)務(wù),，可謂是———從業(yè)務(wù)中來到業(yè)務(wù)中去。

超越系統(tǒng)：主數(shù)據(jù)管理系統(tǒng)是信息系統(tǒng)建設(shè)的基礎(chǔ),，應(yīng)該保持相對(duì)獨(dú)立,，它服務(wù)于但是高于其它業(yè)務(wù)信息系統(tǒng)，因此對(duì)主數(shù)據(jù)的管理要集中化,、系統(tǒng)化,、規(guī)范化。

超越技術(shù)：由于主數(shù)據(jù)要滿足跨部門的業(yè)務(wù)協(xié)同,，因而必須適應(yīng)采用不同技術(shù)規(guī)范的不同業(yè)務(wù)系統(tǒng),，所以主數(shù)據(jù)必須應(yīng)用一種能夠?yàn)楦黝惍悩?gòu)系統(tǒng)所兼容的技術(shù)條件。從這個(gè)意義上講,，面向微服務(wù)架構(gòu)為主數(shù)據(jù)的實(shí)施提供了有效的工具,。在不同環(huán)境、不同場(chǎng)景下,，主數(shù)據(jù)的技術(shù)是可以靈活應(yīng)對(duì)的,。主數(shù)據(jù)的集成架構(gòu)是多樣的，如：總線型結(jié)構(gòu)、星型結(jié)構(gòu),、端到端結(jié)構(gòu),；集成技術(shù)也是多樣的，如：webservice,、REST,、ETL、MQ,、kafka等,；不論是架構(gòu)還是技術(shù)，沒有最好的只有更合適的,。企業(yè)在做技術(shù)選型的時(shí)候,，要充分考慮企業(yè)的核心業(yè)務(wù)需求和未來的發(fā)展要求去構(gòu)建自身的主數(shù)據(jù)技術(shù)體系。

以下為6種比較常用的數(shù)據(jù)服務(wù)方式,，其中,，1-4是主數(shù)據(jù)應(yīng)用的服務(wù)，5-6已經(jīng)超越主數(shù)據(jù)的概念,，可以針對(duì)交易數(shù)據(jù),，指標(biāo)數(shù)據(jù)提供數(shù)據(jù)共享服務(wù)。

圖9 數(shù)據(jù)服務(wù)6種方式

簡(jiǎn)單來講,，就是傳統(tǒng)的主數(shù)據(jù)訂閱分發(fā)模式,，通常通過ESB來分發(fā)；

圖10 主數(shù)據(jù)訂閱分發(fā)模式

將所有類型的主數(shù)據(jù)注冊(cè)到ESB平臺(tái)上,，各目標(biāo)系統(tǒng)提供接收各類主數(shù)據(jù)的接口,，到ESB平臺(tái)自主訂閱相應(yīng)的主數(shù)據(jù)，所有目標(biāo)系統(tǒng)通過ESB平臺(tái)訂閱規(guī)范（參照ESB平臺(tái)訂閱文檔）即可完成數(shù)據(jù)的訂閱服務(wù),。

6.2.1主數(shù)據(jù)查詢服務(wù)：

基于頁面的查詢服務(wù),，通常是提供給人來檢索的，將系統(tǒng)內(nèi)部的查詢頁面或者外部企查查的相關(guān)頁面封裝成服務(wù),，供其他系統(tǒng)嵌套調(diào)用,；

圖11 主數(shù)據(jù)查詢服務(wù)

數(shù)據(jù)治理平臺(tái)面向企業(yè)所有終端用戶的查詢封裝成服務(wù)，集成到各應(yīng)用系統(tǒng),，各應(yīng)用系統(tǒng)可以方便快捷地查詢各類主數(shù)據(jù),，提高查詢效率，更好的用戶體驗(yàn),。

針對(duì)外部數(shù)據(jù)來源（如：企查查），數(shù)據(jù)治理平臺(tái)首先集成企查查相關(guān)頁面,，其他各應(yīng)用系統(tǒng)再與數(shù)據(jù)治理平臺(tái)進(jìn)行集成,，減少對(duì)接成本。

6.2.2主數(shù)據(jù)申請(qǐng)服務(wù)：

主數(shù)據(jù)將所有數(shù)據(jù)的申請(qǐng)功能封裝成服務(wù)，供應(yīng)用系統(tǒng)調(diào)用,。當(dāng)業(yè)務(wù)系統(tǒng)有添加主數(shù)據(jù)的需求時(shí),，不需要登陸主數(shù)據(jù)平臺(tái)，只需要正常在業(yè)務(wù)系統(tǒng)提交新增申請(qǐng),，就可以以任務(wù)的形式提交到數(shù)據(jù)治理平臺(tái),，數(shù)據(jù)治理平臺(tái)處理完成后，以消息的形式反饋至業(yè)務(wù)系統(tǒng),；此服務(wù)部署在API網(wǎng)關(guān)上,。

圖12 主數(shù)據(jù)申請(qǐng)服務(wù)

應(yīng)用系統(tǒng)將主數(shù)據(jù)申請(qǐng)功能封裝成服務(wù)，供各應(yīng)用系統(tǒng)調(diào)用,。主數(shù)據(jù)申請(qǐng)服務(wù)注冊(cè)在ESB數(shù)據(jù)服務(wù)總線平臺(tái)上,，提供主數(shù)據(jù)申請(qǐng)服務(wù)的數(shù)據(jù)類型如港口、外部單位,，具體調(diào)用地址各應(yīng)用系統(tǒng)可聯(lián)系集成平臺(tái),。業(yè)務(wù)系統(tǒng)通過調(diào)用申請(qǐng)服務(wù)給主數(shù)據(jù)傳遞一個(gè)申請(qǐng)任務(wù)后，由主數(shù)據(jù)運(yùn)維人員進(jìn)行處理,，處理完成后以消息形式反饋至業(yè)務(wù)系統(tǒng),。

指定數(shù)據(jù)類型，通過關(guān)鍵字查詢數(shù)據(jù)詳細(xì)信息,。基于接口層面的點(diǎn)對(duì)點(diǎn)的方式的查詢服務(wù)（模糊查詢,、精確查詢、組合查詢）,，通常時(shí)提供給系統(tǒng)接口調(diào)用的,，業(yè)務(wù)系統(tǒng)指定關(guān)鍵字來調(diào)用；此服務(wù)部署在API網(wǎng)關(guān)上,；

圖13 數(shù)據(jù)調(diào)用API服務(wù)

開放主數(shù)據(jù)平臺(tái)基礎(chǔ)庫只讀權(quán)限,，各應(yīng)用系統(tǒng)可直接查詢調(diào)用。公共數(shù)據(jù)資源池相當(dāng)于主數(shù)據(jù)生產(chǎn)庫的一個(gè)鏡像,，業(yè)務(wù)系統(tǒng)可直接訪問,，只有只讀權(quán)限。一般用于業(yè)務(wù)系統(tǒng)需要進(jìn)行大量數(shù)據(jù)初始化操作的時(shí)候采用這種方式,；

圖14 公共數(shù)據(jù)資源池

該資源池?cái)?shù)據(jù)庫與主數(shù)據(jù)生產(chǎn)庫具有實(shí)時(shí)同步機(jī)制,，業(yè)務(wù)系統(tǒng)直接調(diào)用主數(shù)據(jù)系統(tǒng)的主數(shù)據(jù)，真正確保唯一源頭,，實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)準(zhǔn)確和一致性,。具體對(duì)接方式一般是業(yè)務(wù)系統(tǒng)確認(rèn)采取這種方式后，指明需要哪幾類數(shù)據(jù),，我們?cè)俳o出訪問資源池?cái)?shù)據(jù)庫的連接信息,，字段說明等,。

通過相關(guān)工具（Sqoop等）將源系統(tǒng)的數(shù)據(jù)（HR、財(cái)務(wù),、業(yè)務(wù)等）抽取到大數(shù)據(jù)平臺(tái),，經(jīng)過整合、清洗,、歸并后形成各種主題數(shù)據(jù),，對(duì)外提供不同的數(shù)據(jù)服務(wù)（主數(shù)據(jù)、交易數(shù)據(jù),、指標(biāo)數(shù)據(jù)）,；數(shù)據(jù)資源服務(wù)是各類數(shù)據(jù)高級(jí)應(yīng)用，是將源系統(tǒng)數(shù)據(jù)大集中在數(shù)據(jù)資源中心,，通過大數(shù)據(jù)技術(shù)工具,，提供各類數(shù)據(jù)自助式服務(wù)。

基于ES（ElasticSearch）搜索服務(wù)器,，面向所有業(yè)務(wù)系統(tǒng)提供快速查詢檢索的服務(wù),。主要原理是將不同類型的全量主數(shù)據(jù)同步到ES存儲(chǔ)服務(wù)器中，然后業(yè)務(wù)通過ES提供的API接口進(jìn)行查詢,，解決了大數(shù)據(jù)量查詢時(shí),，查詢效率比較低的問題，提供了數(shù)據(jù)的及時(shí)服務(wù),。

ElasticSearch是一個(gè)基于Lucene的搜索服務(wù)器,。它提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于RESTful web接口,。Elasticsearch是用Java開發(fā)的,，并作為Apache許可條款下的開放源碼發(fā)布，是當(dāng)前流行的企業(yè)級(jí)搜索引擎,。設(shè)計(jì)用于云計(jì)算中,，能夠達(dá)到實(shí)時(shí)搜索，穩(wěn)定,，可靠,，快速，安裝使用方便,。