元數(shù)據(jù)最常見的定義是：關(guān)于數(shù)據(jù)的數(shù)據(jù),。元數(shù)據(jù)的信息范圍很廣，不僅包括技術(shù)和業(yè)務(wù)流程,、數(shù)據(jù)規(guī)則和約束,，還包括邏輯數(shù)據(jù)結(jié)構(gòu)與物理數(shù)據(jù)結(jié)構(gòu)等。他描述了數(shù)據(jù)本身,，如數(shù)據(jù)庫,、數(shù)據(jù)元素、數(shù)據(jù)模型,；數(shù)據(jù)表示的概念,，如業(yè)務(wù)流程、應(yīng)用系統(tǒng),、軟件代碼,、技術(shù)基礎(chǔ)設(shè)施；數(shù)據(jù)與概念之間的關(guān)系,。它有助于處理,、維護(hù)、集成,、保護(hù)和治理其他數(shù)據(jù),。

    元數(shù)據(jù)可以確保組織識別私有的或敏感的數(shù)據(jù)，能夠管理數(shù)據(jù)生命周期,，以實(shí)現(xiàn)自身利益,，滿足合規(guī)要求，減少風(fēng)險(xiǎn)敞口。如果沒有可靠的元數(shù)據(jù),，組織就不知道它擁有什么數(shù)據(jù),、數(shù)據(jù)表示什么、數(shù)據(jù)來自何處,、如何在系統(tǒng)中流轉(zhuǎn),、誰有權(quán)訪問它,。如果沒有元數(shù)據(jù),，組織就很難管理好數(shù)據(jù)。

    ISO/IEC 11179元數(shù)據(jù)注冊標(biāo)準(zhǔn)提供了旨在精確數(shù)據(jù)定義,，在異構(gòu)環(huán)境中實(shí)現(xiàn)以元數(shù)據(jù)為驅(qū)動(dòng)的數(shù)據(jù)交換,。

    一、元數(shù)據(jù)概要

    1,、業(yè)務(wù)驅(qū)動(dòng)因素

    元數(shù)據(jù)有助于采用一致的方式表示信息,，簡化工作流程以及保護(hù)敏感信息,。可靠良好的元數(shù)據(jù)可以：

    通過識別冗余數(shù)據(jù)和流程提高運(yùn)營效率；

    防止使用過時(shí)或不正確的數(shù)據(jù),；

    改善數(shù)據(jù)使用者和IT專業(yè)人員之間的溝通；

    創(chuàng)建準(zhǔn)確的影響分析,。

    元數(shù)據(jù)管理不善將導(dǎo)致冗余的數(shù)據(jù),、不一致的數(shù)據(jù)元素定義、數(shù)據(jù)濫用,、元數(shù)據(jù)版本沖突等,。

    2、目標(biāo)和原則

    元數(shù)據(jù)管理的目標(biāo)包括：記錄和管理與數(shù)據(jù)相關(guān)的業(yè)務(wù)術(shù)語,，確保理解和使用數(shù)據(jù)內(nèi)容的一致性,；確保元數(shù)據(jù)的質(zhì)量、一致性,、及時(shí)性和安全,；提供標(biāo)準(zhǔn)途徑，使元數(shù)據(jù)使用者能夠訪問元數(shù)據(jù),；使用元數(shù)據(jù)標(biāo)準(zhǔn)以實(shí)現(xiàn)數(shù)據(jù)交換等,。

    元數(shù)據(jù)管理的原則包括：組織承諾、戰(zhàn)略層級,、企業(yè)視角,、潛移默化、質(zhì)量責(zé)任,、審計(jì)活動(dòng),、持續(xù)改進(jìn)。

    3、基本概念

    （1）元數(shù)據(jù)與數(shù)據(jù)

    元數(shù)據(jù)也是一種數(shù)據(jù),，元數(shù)據(jù)與非元數(shù)據(jù)的劃分與數(shù)據(jù)所代表的抽象級別有關(guān),。為了管理元數(shù)據(jù)，組織不應(yīng)該擔(dān)心理論上的區(qū)別,，應(yīng)該關(guān)注元數(shù)據(jù)需求,，重點(diǎn)關(guān)注元數(shù)據(jù)用來做什么以及源數(shù)據(jù)，比如創(chuàng)建新數(shù)據(jù),、了解現(xiàn)有數(shù)據(jù),、實(shí)現(xiàn)系統(tǒng)之間流轉(zhuǎn)、訪問數(shù)據(jù),、共享數(shù)據(jù)等,。

    （2）元數(shù)據(jù)的類型

    元數(shù)據(jù)通常分為：業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù),。

    業(yè)務(wù)元數(shù)據(jù)主要關(guān)注數(shù)據(jù)的內(nèi)容和條件,，主要包括主題域、概念,、實(shí)體,、屬性的非技術(shù)名稱和定義、屬性的數(shù)據(jù)類型和其他特征,，如范圍描述,、計(jì)算公式、算法,、業(yè)務(wù)規(guī)則,、有效的值域及其定義。常見的業(yè)務(wù)元數(shù)據(jù)有：數(shù)據(jù)集,、表和字段的定義和描述,、數(shù)據(jù)模型、業(yè)務(wù)規(guī)則,、數(shù)據(jù)質(zhì)量規(guī)則,、數(shù)據(jù)血緣、數(shù)據(jù)標(biāo)準(zhǔn),、有效值約束,、數(shù)據(jù)的安全級別、相關(guān)方聯(lián)系信息等,。

    技術(shù)元數(shù)據(jù)提供有關(guān)數(shù)據(jù)的技術(shù)細(xì)節(jié),、存儲數(shù)據(jù)的系統(tǒng)以及在系統(tǒng)內(nèi)核系統(tǒng)間的數(shù)據(jù)流轉(zhuǎn)過程的信息。常見的技術(shù)元數(shù)據(jù)有：物理數(shù)據(jù)庫表名和字段名,、字段屬性,、訪問權(quán)限,、ETL作業(yè)詳細(xì)信息、數(shù)據(jù)血緣文檔,、恢復(fù)和備份規(guī)則,、源到目標(biāo)的映射文檔等。

    操作元數(shù)據(jù)描述了處理和訪問數(shù)據(jù)的細(xì)節(jié),。常見的操作元數(shù)據(jù)有：調(diào)度異常處理,、審計(jì)結(jié)果、錯(cuò)誤日志,、抽取歷史和結(jié)果,、補(bǔ)丁和版本的維護(hù)計(jì)劃、清洗標(biāo)準(zhǔn),、數(shù)據(jù)共享規(guī)則等,。

    （3）元數(shù)據(jù)的來源

    元數(shù)據(jù)的來源很多,，大多操作型元數(shù)據(jù)在處理數(shù)據(jù)時(shí)生成,，可以對現(xiàn)有系統(tǒng)中的數(shù)據(jù)進(jìn)行逆向工程，從現(xiàn)有的數(shù)據(jù)字典,、模型,、流程和文檔中收集業(yè)務(wù)元數(shù)據(jù)。元數(shù)據(jù)的主要來源有：應(yīng)用程序中元數(shù)據(jù)存儲庫,、業(yè)務(wù)術(shù)語表,、商務(wù)智能工具、配置管理工具,、數(shù)據(jù)字典,、數(shù)據(jù)集成工具、數(shù)據(jù)庫管理和系統(tǒng)目錄,、數(shù)據(jù)映射管理工具,、數(shù)據(jù)質(zhì)量工具、字典和目錄,、事件消息工具,、建模工具和存儲庫、參考數(shù)據(jù)庫,、服務(wù)注冊以及其他元數(shù)據(jù)存儲,。

    （4）元數(shù)據(jù)架構(gòu)的類型

    元數(shù)據(jù)管理解決方案管理了元數(shù)據(jù)的生命周期，包括：元數(shù)據(jù)的創(chuàng)建和采集,；元數(shù)據(jù)的存儲,、元數(shù)據(jù)的集成、元數(shù)據(jù)交付,、元數(shù)據(jù)使用,、元數(shù)據(jù)的控制和管理。

    常見的元數(shù)據(jù)架構(gòu)類型有：集中式元數(shù)據(jù)架構(gòu)、分布式元數(shù)據(jù)架構(gòu),、混合式元數(shù)據(jù)架構(gòu),、雙向元數(shù)據(jù)架構(gòu)。

    集中式元數(shù)據(jù)架構(gòu)由單一的元數(shù)據(jù)存儲庫組成,，包含來自各種不同源的元數(shù)據(jù)副本,。

    分布式元數(shù)據(jù)架構(gòu)中維護(hù)了一個(gè)單一的接入點(diǎn)。元數(shù)據(jù)檢索引擎通過實(shí)時(shí)從源系統(tǒng)檢索數(shù)據(jù)來響應(yīng)用戶請求,；分布式元數(shù)據(jù)架構(gòu)沒有持久化的存儲庫,。

    混合架構(gòu)結(jié)合了集中式和分布式架構(gòu)的特性，元數(shù)據(jù)仍然直接從源系統(tǒng)移動(dòng)到集中式存儲庫,，但存儲庫設(shè)計(jì)僅考慮用戶添加的元數(shù)據(jù),，重要的標(biāo)準(zhǔn)化元數(shù)據(jù)以及來自通過自手工來源添加的元數(shù)據(jù)。

    雙向元數(shù)據(jù)架構(gòu)允許元數(shù)據(jù)在架構(gòu)的任何部分中進(jìn)行更改,，然后將變更從存儲庫同步到其原始源以實(shí)現(xiàn)反饋,。

    二、元數(shù)據(jù)管理活動(dòng)

    1,、定義元數(shù)據(jù)戰(zhàn)略

    元數(shù)據(jù)戰(zhàn)略描述組織應(yīng)如何管理其自身元數(shù)據(jù),，以及元數(shù)據(jù)從當(dāng)前狀態(tài)到未來狀態(tài)的實(shí)施線路。開發(fā)元數(shù)據(jù)需求,，可以幫助闡明元數(shù)據(jù)戰(zhàn)略的驅(qū)動(dòng)力,，識別潛在障礙并克服它。制定元數(shù)據(jù)的戰(zhàn)略步驟如下：

    （1）啟動(dòng)元數(shù)據(jù)戰(zhàn)略計(jì)劃,；

    （2）組織關(guān)鍵利益相關(guān)方訪談,；

    （3）評估現(xiàn)有元數(shù)據(jù)資源和信息架構(gòu)；

    （4）開發(fā)未來的元數(shù)據(jù),；

    （5）制定分階段實(shí)施計(jì)劃,。

    2、理解元數(shù)據(jù)需求

    元數(shù)據(jù)需求的內(nèi)容是需要哪些元數(shù)據(jù)和哪種詳細(xì)級別,。元數(shù)據(jù)的需求主要有：更新頻次,、同步情況、歷史信息,、訪問權(quán)限,、存儲結(jié)構(gòu)、集成要求,、運(yùn)維要求,、管理要求、質(zhì)量要求,、安全要求等,。

    3,、定義元數(shù)據(jù)架構(gòu)

    元數(shù)據(jù)管理系統(tǒng)必須具有從不同數(shù)據(jù)源采集元數(shù)據(jù)的能力，設(shè)計(jì)架構(gòu)時(shí)應(yīng)確?？梢話呙璨煌獢?shù)據(jù)源和定期的更新元數(shù)據(jù)存儲庫,，系統(tǒng)必須支持手工更新元數(shù)據(jù)、請求元數(shù)據(jù),、查詢元數(shù)據(jù)和不同用戶組查詢,。

    組織根據(jù)具體的需求設(shè)計(jì)元數(shù)據(jù)架構(gòu)。建立公共元數(shù)據(jù)存儲庫通常有三種技術(shù)架構(gòu)方法：集中式,、分布式和混合式,。

    （1）創(chuàng)建元模型

    創(chuàng)建一個(gè)元數(shù)據(jù)存儲庫的數(shù)據(jù)模型是定義元數(shù)據(jù)戰(zhàn)略和理解業(yè)務(wù)需求后的第一個(gè)設(shè)計(jì)步驟。

    （2）應(yīng)用元數(shù)據(jù)標(biāo)準(zhǔn)

    元數(shù)據(jù)應(yīng)遵循在元數(shù)據(jù)戰(zhàn)略中以定義的對內(nèi)和對外的標(biāo)準(zhǔn),，數(shù)據(jù)治理活動(dòng)應(yīng)監(jiān)督元數(shù)據(jù)標(biāo)準(zhǔn)的遵從情況,。

    （3）管理元數(shù)據(jù)存儲

    實(shí)施控制活動(dòng)以管理元數(shù)據(jù)環(huán)境。這些活動(dòng)本質(zhì)是可管理的,、可監(jiān)控的,、可報(bào)告的、可預(yù)警的,、有作業(yè)日志的,，同時(shí)可以解決各種已實(shí)施的元數(shù)據(jù)存儲庫環(huán)境的各種問題?？刂苹顒?dòng)有：作業(yè)調(diào)度和監(jiān)控、備份恢復(fù),、性能調(diào)優(yōu),、安全管理、質(zhì)量管理,、培訓(xùn)等,。

    4、創(chuàng)建和維護(hù)元數(shù)據(jù)

    元數(shù)據(jù)是一些列過程創(chuàng)建的,，并存儲在組織中的不同地方,，為保證高質(zhì)量的元數(shù)據(jù)，應(yīng)把元數(shù)據(jù)當(dāng)做產(chǎn)品來進(jìn)行管理,。

    （1）整合元數(shù)據(jù)

    集成過程中從整個(gè)企業(yè)范圍內(nèi)收集和整合元數(shù)據(jù),，包括從企業(yè)外部獲取的數(shù)據(jù)中的元數(shù)據(jù)。

    （2）分發(fā)和傳遞元數(shù)據(jù)

    元數(shù)據(jù)可傳遞給數(shù)據(jù)消費(fèi)者和需要處理元數(shù)據(jù)的應(yīng)用或工具,。元數(shù)據(jù)通常與商務(wù)智能有關(guān),，所以，元數(shù)據(jù)的范圍和流轉(zhuǎn)常與商務(wù)智能同步,。在企業(yè)中有時(shí)CRM,、ERP系統(tǒng)中也需要整合元數(shù)據(jù)信息,。

    （3）查詢、報(bào)告和分析元數(shù)據(jù)

    元數(shù)據(jù)存儲庫應(yīng)具有前端應(yīng)用程序,，支持查詢和獲取功能,，滿足各類數(shù)字資產(chǎn)管理的需求，比如變更影響分析,、血緣分析等,。

    三、工具

    管理元數(shù)據(jù)的主要工具是元數(shù)據(jù)存儲庫,，包括整合層和手工更新的接口,。元數(shù)據(jù)可以手動(dòng)輸入，也可以通過專門的連接器從其他各種源提取,，還要提供與其他系統(tǒng)交換元數(shù)據(jù)的功能,。

    四、設(shè)施指南

    使用漸進(jìn)的步驟建設(shè)實(shí)施受控的元數(shù)據(jù)管理環(huán)境,，可以減少組織的風(fēng)險(xiǎn),，并便于用戶接受。存儲庫的內(nèi)容在設(shè)計(jì)上應(yīng)該是通用的,，而不只是反映源系統(tǒng)的數(shù)據(jù)庫設(shè)計(jì),。應(yīng)基于易理解的元數(shù)據(jù)模型與企業(yè)領(lǐng)域?qū)＜夜餐O(shè)計(jì)，規(guī)劃設(shè)計(jì)時(shí)應(yīng)考慮集成元數(shù)據(jù),，以確保數(shù)據(jù)使用者無須關(guān)注數(shù)據(jù)源的差異,。元數(shù)據(jù)存儲庫包含當(dāng)前的、計(jì)劃的和歷史版本的元數(shù)據(jù),。

    五,、元數(shù)據(jù)治理

    組織應(yīng)確定管理元數(shù)據(jù)生命周期的具體需求，并開展元數(shù)據(jù)治理工作以滿足這些需求,。

    1,、過程控制

    元數(shù)據(jù)治理需要通過多個(gè)不同階段和狀態(tài)的決策來確定業(yè)務(wù)術(shù)語和定義，如一個(gè)候選術(shù)語從申請審批到發(fā)布再到更新或刪除的全生命周期的各個(gè)節(jié)點(diǎn),。需要將元數(shù)據(jù)戰(zhàn)略集成到軟件的開發(fā)生命周期中,，確保變更過的元數(shù)據(jù)及時(shí)得到收集，以確保元數(shù)據(jù)保持最新,。

    2,、元數(shù)據(jù)解決方案文檔

    元數(shù)據(jù)的主目錄包括當(dāng)前作用域中的源和目標(biāo)。元數(shù)據(jù)資源面向技術(shù)及業(yè)務(wù)用戶,。元數(shù)據(jù)解決方案文檔主要包括：元數(shù)據(jù)管理實(shí)施狀態(tài),、源和目標(biāo)元數(shù)據(jù)存儲、留存和保持的版本,，質(zhì)量聲明或警告,、敏感信息和數(shù)據(jù)源的移除或脫敏策略等,。

    3、元數(shù)據(jù)標(biāo)準(zhǔn)和指南

    在數(shù)據(jù)交換時(shí),，元數(shù)據(jù)標(biāo)準(zhǔn)是必不可少的,。元數(shù)據(jù)的ISO標(biāo)準(zhǔn)為工具開發(fā)人員提供了指導(dǎo)。

    4,、度量指標(biāo)

    元數(shù)據(jù)管理實(shí)施的有效性可以根據(jù)元數(shù)據(jù)本身的完整性,、與其關(guān)聯(lián)的日常管理操作以及源數(shù)據(jù)應(yīng)用情況來度量。

    （1）元數(shù)據(jù)存儲庫完整性,。將企業(yè)元數(shù)據(jù)的理想覆蓋率與實(shí)際覆蓋率進(jìn)行比較,。

    （2）元數(shù)據(jù)管理成熟度。根據(jù)能力成熟度模型（CMM-DMM）建立元數(shù)據(jù)成熟度的指標(biāo),。

    （3）元數(shù)據(jù)使用情況,。通過存儲庫訪問次數(shù)衡量用戶對元數(shù)據(jù)的使用情況和接受程度。

    （4）主數(shù)據(jù)服務(wù)數(shù)據(jù)遵從性,。主數(shù)據(jù)服務(wù)上的元數(shù)據(jù)幫助開發(fā)人員決定新的開發(fā)任務(wù)可以使用哪些現(xiàn)有服務(wù),。

    （5）元數(shù)據(jù)文檔質(zhì)量。質(zhì)量指標(biāo)可以通過自動(dòng)和手動(dòng)兩種方式評估,。自動(dòng)評估方式包括對兩個(gè)源執(zhí)行沖突邏輯的比較,，測量二者匹配程度以及隨時(shí)間推移變化的趨勢；手動(dòng)評估包括基于企業(yè)質(zhì)量定義進(jìn)行隨機(jī)或完整的調(diào)查,。

    （6）元數(shù)據(jù)存儲庫可用性,。正常運(yùn)行的時(shí)間、處理和查詢的時(shí)間,。

    （7）業(yè)務(wù)術(shù)語活動(dòng),。使用、更新,、定義解析、覆蓋范圍,。

    六,、元數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用

    現(xiàn)在越來越多的數(shù)據(jù)以非結(jié)構(gòu)化格式存儲，且這些數(shù)據(jù)來源于組織內(nèi)外部,，從而形成數(shù)據(jù)湖,。數(shù)據(jù)湖中的成功數(shù)據(jù)管理依然依賴于管好元數(shù)據(jù)。

    元數(shù)據(jù)標(biāo)簽應(yīng)在采集時(shí)應(yīng)用于數(shù)據(jù),，然后元數(shù)據(jù)可以用來標(biāo)識可訪問的數(shù)據(jù)湖中的數(shù)據(jù)內(nèi)容,。大部分采集引擎采集數(shù)據(jù)后進(jìn)行數(shù)據(jù)剖析，數(shù)據(jù)剖析可以識別出數(shù)據(jù)域,、數(shù)據(jù)關(guān)系和數(shù)據(jù)質(zhì)量問題,，并打上標(biāo)簽,。采集數(shù)據(jù)時(shí)，識別到敏感或隱私數(shù)據(jù)時(shí)應(yīng)添加元數(shù)據(jù)標(biāo)簽,。

歡迎加入數(shù)據(jù)管理者