從最早的層次模型,、網(wǎng)狀模型，發(fā)展到關(guān)系模型,。后者長(zhǎng)期占據(jù)數(shù)據(jù)的模型的主導(dǎo)地位,，直到今天仍然如此。關(guān)系模型所帶來的數(shù)據(jù)表述方式結(jié)合SQL語言幫助人們可以很好地使用數(shù)據(jù),。但從90年代開始,，隨著人們對(duì)數(shù)據(jù)的使用方式的變化，出現(xiàn)了鍵值,、列簇,、文檔、圖等多種數(shù)據(jù)表述方式,，隨之各種分化產(chǎn)品也不斷涌現(xiàn),。針對(duì)不同的場(chǎng)景化需求，有著不同應(yīng)對(duì)解決產(chǎn)品,。這種趨勢(shì),，有利有弊；滿足了個(gè)性化需求的同時(shí),，也帶來的管理,、使用,、開發(fā)的復(fù)雜度。近些年來,，多模產(chǎn)品成為新的一種思路,，通過單一產(chǎn)品支持多種數(shù)據(jù)模型，簡(jiǎn)化人們的使用,。輔助以分布式,、云化技術(shù)，解決傳統(tǒng)方式在規(guī)模,、性能等方面的短板,。這一趨勢(shì)值得關(guān)注。

數(shù)據(jù),，在社會(huì)發(fā)展中正扮演著愈發(fā)重要的作用。從早期僅限于學(xué)術(shù)研究,、軍事領(lǐng)域,，到后面應(yīng)用到企業(yè)經(jīng)營(yíng)活動(dòng)、再到個(gè)人互聯(lián)網(wǎng)應(yīng)用,、直到云與物聯(lián)網(wǎng)時(shí)代,。使用數(shù)據(jù)的端走過了“高校->企業(yè)->個(gè)人->萬物”的過程。不同的使用使用端,，對(duì)數(shù)據(jù)使用有著不同的訴求,。因此，數(shù)據(jù)存儲(chǔ)使用底層平臺(tái)（數(shù)據(jù)庫(kù)）也經(jīng)歷了不同的發(fā)展階段,。從層次,、網(wǎng)狀模型到關(guān)系模型，從單機(jī)到集群,，從單體架構(gòu)到集群架構(gòu),，從線下到云端。以此來滿足對(duì)數(shù)據(jù)的承載能力,、使用特點(diǎn)差異,。

隨著數(shù)據(jù)使用者的擴(kuò)大，越來越多的數(shù)據(jù)被挖掘出來,。這些數(shù)據(jù)不僅規(guī)模巨大,，而且非結(jié)構(gòu)化明顯，這些都會(huì)底層平臺(tái)提出了更高的要求,。

針對(duì)不同的數(shù)據(jù),，不僅其量級(jí)、特征、生產(chǎn)者不同,，而且其數(shù)據(jù)價(jià)值也差異明顯,。其所帶來的數(shù)據(jù)使用方式，也做過了從離線到在線,、從單一業(yè)務(wù)到混合業(yè)務(wù)的過程,。

其使用方式的舉例，如從早期企業(yè)業(yè)務(wù)生產(chǎn)數(shù)據(jù),，通過離線處理形成儀表盤數(shù)據(jù)供管理經(jīng)營(yíng)決策,，這種面向“決策”的處理方式。到后面的,，針對(duì)個(gè)人的大量個(gè)性化數(shù)據(jù)處理,，提供的更為實(shí)時(shí)、更為細(xì)粒度的數(shù)據(jù)分析,，滿足面向“服務(wù)”的處理方式,。不同的處理方式，自然對(duì)數(shù)據(jù)承載能力,、處理性能等產(chǎn)生了不同的要求。

隨著接入數(shù)據(jù)源的不斷增加,，越來越多的數(shù)據(jù)被集中管理起來,。這些數(shù)據(jù)規(guī)模巨大、結(jié)構(gòu)不同,、使用行為存在差異,。這也導(dǎo)致混合負(fù)載成為一種普遍性的需求。現(xiàn)在只承載一類數(shù)據(jù),，按一種方式使用的場(chǎng)景,，已經(jīng)很難找到。人們希望通過統(tǒng)一的訪問接口（如SQL）,，按不同的方式（如離線,、在線）使用數(shù)據(jù)。

針對(duì)上面的需求,，無論是傳統(tǒng)的IOE架構(gòu)還是后面的大數(shù)據(jù)架構(gòu),，都存在種種不足。因此,，NEWSQL的形態(tài)正愈發(fā)受到人們的關(guān)注,。無論是傳統(tǒng)大廠、云廠商到新興創(chuàng)業(yè)公司紛紛在支持分布式架構(gòu),、具備混合負(fù)載支撐能力的產(chǎn)品上發(fā)力,。

作為數(shù)據(jù)使用的上層建筑，數(shù)據(jù)治理正受到企業(yè)的高度關(guān)注。這主要是因?yàn)橐环矫鏀?shù)據(jù)的多源,、異構(gòu),、價(jià)值差異等特點(diǎn)導(dǎo)致復(fù)雜度的提高；另一方面數(shù)據(jù)價(jià)值正在被更多的企業(yè)所關(guān)注,。如何在企業(yè)內(nèi)部用統(tǒng)一視角看待數(shù)據(jù),，讓數(shù)據(jù)在企業(yè)中存好用好發(fā)揮出更大價(jià)值，是企業(yè)數(shù)字化轉(zhuǎn)型必然面臨的問題,。數(shù)據(jù)治理,，正是解決這一問題的利器。過去,，數(shù)據(jù)治理往往在高價(jià)值數(shù)據(jù)集中且規(guī)范程度較高的企業(yè)（如金融業(yè)）受到重視,，但現(xiàn)在更多的企業(yè)（包括互聯(lián)網(wǎng)）也重視數(shù)據(jù)治理的建設(shè)。從理論模型來講,，上圖的DAMA是國(guó)外在數(shù)據(jù)治理領(lǐng)域沉淀多年的治理框架,。其將整個(gè)數(shù)據(jù)治理過程，劃分為11個(gè)作用域加以建設(shè),。國(guó)內(nèi)也有類似的治理框架,。

很多人會(huì)覺得數(shù)據(jù)治理很虛。確實(shí),，如果無法真正理解數(shù)據(jù)治理,，最終很可能只會(huì)轉(zhuǎn)化為一堆文檔、標(biāo)準(zhǔn)束之高閣,。上面示例中,，通過菜店案例，很好地詮釋了數(shù)據(jù)治理各個(gè)作用域的作用,，并可將各個(gè)作用域有機(jī)結(jié)合起來,。在真實(shí)建設(shè)過程中，可參考此案例結(jié)合企業(yè)自身特點(diǎn),，以一兩個(gè)作用域?yàn)榍腥朦c(diǎn),，小步迭代，通過收益逐步驅(qū)動(dòng)治理行為的貫徹落地,。

在建設(shè)選擇上,，可仿照上面找到合適的切入點(diǎn)。這些切入點(diǎn),，往往是通過某個(gè)具體業(yè)務(wù)需求來觸發(fā),，這樣更容易落地并產(chǎn)生效益。

元數(shù)據(jù)的建設(shè),，往往是整個(gè)數(shù)據(jù)治理過程中的起始部分,。通過元數(shù)據(jù)，了解企業(yè)內(nèi)有哪些數(shù)據(jù)？數(shù)據(jù)是如何使用的,？數(shù)據(jù)被誰使用等問題,。即解決數(shù)據(jù)的5W+H問題（who、where,、what,、why、when,、how）,。可以說是數(shù)據(jù)治理的基礎(chǔ)和源頭,。筆者之前也做過元數(shù)據(jù)過程（包括相關(guān)平臺(tái)的建設(shè)）,，這可以說是“臟活累活”。通過平臺(tái)化建設(shè)可以提高元數(shù)據(jù)收集的質(zhì)量,、效率等,。但這個(gè)過程收益較慢，如何快速變現(xiàn),？從個(gè)人實(shí)踐來看,，可以從血緣/影響分析、元數(shù)據(jù)自服務(wù)等作為初期切入點(diǎn),，快速產(chǎn)生收益,。

當(dāng)企業(yè)考慮選擇分布式時(shí),，是個(gè)比較艱難的過程,。因分布式與傳統(tǒng)的單體架構(gòu)差異較大，是需要考慮多方面因素的,。上圖列出了需要考慮的很多因素,。從底層的基礎(chǔ)架構(gòu)適配、到構(gòu)建運(yùn)維體系,，從結(jié)構(gòu),、語句設(shè)計(jì)優(yōu)化，到開發(fā)規(guī)范的制定,，從構(gòu)建源碼級(jí)支持能力,，到選擇場(chǎng)景并做好適配改造等等。個(gè)人建議是,，不要為了上分布式而上分布式,，還是要看實(shí)際需求并遵循客觀規(guī)律。

在具體分布式技術(shù)路線選擇上,，有多種可能性。目前尚沒有所謂完美的方案,，不同技術(shù)路線及產(chǎn)品各有優(yōu)劣點(diǎn)。甚至有些規(guī)模較大的公司,，選擇了多種技術(shù)路線,，在享受分布式所帶來的技術(shù)紅利的同時(shí)，也盡量規(guī)避可能的問題,。相對(duì)而言,，從接受的難易程度來看，是自下而上難度逐步增大的,?？梢愿鶕?jù)公司自身情況來選擇,。

上例中工行就選擇了兩步走的戰(zhàn)略，通過中間層的方案作為早期過渡,，長(zhǎng)期關(guān)注分布式數(shù)據(jù)庫(kù),。

分布式事務(wù),，是分布式數(shù)據(jù)庫(kù)的核心難點(diǎn)之一,。騰訊-李海翔老師帶來的關(guān)于分布式事務(wù)的分享，值得關(guān)注,。此部分因內(nèi)容過于干核,，還需要抽時(shí)間具體研究下。感興趣的同學(xué),，可具體關(guān)注下騰訊事務(wù)處理技術(shù)驗(yàn)證系統(tǒng)-3TS,，目前已在github上開源

https://github.com/databaseService/3TS。

目前在工程實(shí)現(xiàn)上,，存在多種做法,，網(wǎng)易帶來其在這方面的體會(huì)。

運(yùn)維平臺(tái)的發(fā)展,，走過了三個(gè)階段,，經(jīng)歷了人力、自動(dòng)化,、智能化的發(fā)展過程,。從早期的以個(gè)人為主，通過個(gè)體的經(jīng)驗(yàn)運(yùn)維,。此階段面臨的問題在于運(yùn)維無法體系化,，受限于個(gè)人的能力，不僅運(yùn)維能力無法沉淀也受限于個(gè)人無法大規(guī)模擴(kuò)展,。到了下一階段,，將個(gè)人經(jīng)驗(yàn)，通過工具平臺(tái)沉淀下來,，可滿足支持大規(guī)模運(yùn)維需求,。但隨著運(yùn)維規(guī)模、復(fù)雜度的提高,，工具平臺(tái)還是無法適應(yīng)日益復(fù)雜的運(yùn)維需求,。因而智能運(yùn)維應(yīng)運(yùn)而生，其通過AIOPS的引入,，通過人工領(lǐng)域知識(shí)的積累和智能場(chǎng)景化學(xué)習(xí)相結(jié)合,，滿足了更為復(fù)雜的運(yùn)維場(chǎng)景。

針對(duì)后者來說,，通常采用上面過程來提高運(yùn)維效能,。通過數(shù)據(jù)清理,、數(shù)據(jù)清洗、模型訓(xùn)練,、數(shù)據(jù)驗(yàn)證到改善反饋的過程往復(fù)迭代,，逐步提高。

在具體實(shí)踐上,，可采取類似上圖的架構(gòu),，將上面的逐步細(xì)化。

智能運(yùn)維落地,，選擇合適的算法很重要，經(jīng)常面臨雷聲大,、雨點(diǎn)小的窘境,。花費(fèi)很大代價(jià)做的模型分析,，其結(jié)果卻無法幫助到實(shí)際運(yùn)維工作,。上例中使用了KNN算法，原理很簡(jiǎn)單,，但通過距離分離可輔助做好根因分析,，具備很好的可落地性。

? 運(yùn)維平臺(tái)發(fā)展變化

在新的形式下,，傳統(tǒng)運(yùn)維模式面臨很多問題,，如何滿足新形勢(shì)下的運(yùn)維訴求？這里主要有兩個(gè)轉(zhuǎn)變：

通過統(tǒng)一平臺(tái)，完成從交付,、管理,、告警、預(yù)防,、分析,、定位、處理,、保障全域的支持。

? 自動(dòng)駕駛,，未來可期

自動(dòng)駕駛,，是人們對(duì)數(shù)據(jù)庫(kù)的理想,，希望通過完全自治的方式實(shí)現(xiàn)自我管理。目前幾個(gè)大廠通過自身多年的實(shí)踐,，大量的數(shù)據(jù)積累,，也推出這樣的產(chǎn)品。借此提升用戶使用體驗(yàn),?？梢哉f，這是護(hù)城河式的產(chǎn)品,，對(duì)企業(yè)（特別是云廠商）意義重大,。

在具體的實(shí)踐上，可參考上面的實(shí)現(xiàn)方式,。

數(shù)據(jù)中臺(tái)，在前幾年有些沉寂后,，近段時(shí)間有熱度漸起,。關(guān)于拆中臺(tái)等論調(diào)，層出不窮,。其核心還是在于前一階段中臺(tái)理念大熱,，導(dǎo)致人們對(duì)中臺(tái)的定位有些偏差，期望越高,，失望越大,。在討論中臺(tái)之前，我們先來辨析下中臺(tái)與平臺(tái)的關(guān)系,，借此可以更好地給中臺(tái)做個(gè)定位,。

中臺(tái)不是一個(gè)新概念，在之前不同階段也存在所謂中臺(tái),，只是但是的叫法不同而已,。中臺(tái)本省不是解決具體數(shù)據(jù)供給側(cè)的問題，而是面向解決數(shù)據(jù)使用側(cè)的問題,。前者往往是通過平臺(tái)方來提供,，而中臺(tái)更多是面向業(yè)務(wù)方解決問題。其定位是更好地解決穩(wěn)定的基礎(chǔ)底座與快速前臺(tái)業(yè)務(wù)發(fā)展的矛盾,。它更多是提供業(yè)務(wù)能力數(shù)據(jù)化的輸出能力,，方便業(yè)務(wù)快速解決自身問題。

但同時(shí)也要看到,，數(shù)據(jù)中臺(tái)本身更多是提供零件,，還需要將其組合形成數(shù)據(jù)產(chǎn)品，才能最終被業(yè)務(wù)方使用到,。未來的IT架構(gòu)演化,，正沿著業(yè)務(wù)中臺(tái)化,、系統(tǒng)平臺(tái)化（云化）的方向演進(jìn)。

作為云的核心能力這一,，存儲(chǔ)與計(jì)算分離對(duì)云的剛需。正是通過兩者的解耦,，提供充分的彈性能力,，才是最終實(shí)現(xiàn)云的根本訴求。

但目前這一方面仍存在較大短板,?？梢哉fAWS的Aurora開啟了云原生分布式數(shù)據(jù)庫(kù)的先河，但其核心理念在20多年的Oracle RAC其實(shí)已經(jīng)實(shí)現(xiàn),，甚至現(xiàn)在還有所不及,。如何實(shí)現(xiàn)真正的多寫多讀，是未來的核心要點(diǎn),。當(dāng)某個(gè)大廠能拿出這一能力,，那必將是一款顛覆性的產(chǎn)品。

企業(yè)上云,，是未來的趨勢(shì),；但國(guó)內(nèi)受限于國(guó)情，專有云或混合云成為云生態(tài)重要的補(bǔ)充,。因而企業(yè)上云,，是可以有多種路徑的。如何選擇適合企業(yè)的最佳路徑,，值得探討,。既能滿足企業(yè)合規(guī)、監(jiān)管,、安全需求,，又能享受到云帶來便利。上述三種路徑,，都是一種選擇,。

同時(shí)，類似數(shù)據(jù)網(wǎng)管類產(chǎn)品也推了出來,，方便用戶將云上云下聯(lián)動(dòng)起來,。

? 上云之路，考慮多種因素

企業(yè)上云,，與傳統(tǒng)基礎(chǔ)設(shè)施有著很大的區(qū)別,。快速了解掌握兩者差異，做出科學(xué)的選擇,，有助于鋪平企業(yè)上云之路,。下面列舉的正是上云時(shí)需考慮的多種因素。

數(shù)據(jù)脫敏，可以說是離前線最近的數(shù)據(jù)安全關(guān)口,。它跟每個(gè)研發(fā),、運(yùn)維人員息息相關(guān)。如何把住數(shù)據(jù)安全這第一道關(guān),，成為數(shù)據(jù)安全建設(shè)的首要問題,。數(shù)據(jù)脫敏，從原理上講很簡(jiǎn)單,，只要識(shí)別出敏感信息,，脫敏輸出即可。但在實(shí)踐上,，需要考慮的問題很多,。首先前提是做好數(shù)據(jù)的分類分級(jí)，掌握一手準(zhǔn)確的元數(shù)據(jù),；其次在保障效率和準(zhǔn)確性下,，做好敏感數(shù)據(jù)識(shí)別；再次針對(duì)敏感數(shù)據(jù)，做到保證質(zhì)量不失真的脫敏處理,。大的原則就是,，在保證安全的前提下，兼顧效率平衡,。

在實(shí)操上,，敏感數(shù)據(jù)梳理是勞心勞力的活。準(zhǔn)確識(shí)別很關(guān)鍵,，除了借助數(shù)據(jù)資產(chǎn)信息外,，還可以輔助規(guī)則、甚至AI的能力識(shí)別敏感數(shù)據(jù),。

有了上述敏感信息后,，如下圖所示構(gòu)建脫敏服務(wù)即可。