「數(shù)據(jù)架構(gòu)」全級別模式建模

天下小糧倉 2020-05-26

展開全文

使用關(guān)注點導(dǎo)航數(shù)據(jù)體系結(jié)構(gòu)

歡迎來到2019年,！今年是我們重新構(gòu)建模式,、數(shù)據(jù)模型和數(shù)據(jù)架構(gòu)的獨特機會。我們確實需要做一些更好的事情,。

現(xiàn)實世界充滿了憂慮,，其中有些或多或少是矛盾的。一個很好的例子是模式（Schema）生命周期討論：模式優(yōu)先,？模式最后,？沒有模式？顯然主要是技術(shù)層面的問題,。但同樣,，一些業(yè)務(wù)需求只能通過極其嚴格的數(shù)據(jù)設(shè)計來解決。以金融部門的合規(guī)報告為例,。然而,，其他的商業(yè)機會并不是真的依賴于強大的、先期的模式設(shè)計,。敏捷的,、逐步的模式演化作為一個持續(xù)的過程，肯定有它的吸引力,。

2019年的唯一機會是出現(xiàn)了一種用于屬性圖的標(biāo)準(zhǔn)圖形查詢語言（standard graph query language for property graphs）（參見
https://www./home). 這包括對模式支持的考慮,。挑戰(zhàn)在于：我們能否在2019年構(gòu)建一個適合大多數(shù)上下文、業(yè)務(wù)情況和開發(fā)風(fēng)格的模式架構(gòu),？

讓我們首先探索現(xiàn)代數(shù)據(jù)和信息體系結(jié)構(gòu)的基礎(chǔ),，駛向2019年風(fēng)雨交加的大海。

全級別(scale)數(shù)據(jù)架構(gòu)

一個非正式的歐洲數(shù)據(jù)架構(gòu)師組織稱為全尺寸數(shù)據(jù)架構(gòu)師（Full Scale Data Architects）,，它在將數(shù)據(jù)體系結(jié)構(gòu)融入當(dāng)今現(xiàn)實方面取得了長足的進步,。以下是集團創(chuàng)始人之一荷蘭人Martijn Evers的使命宣言：

作為一個開始，RonaldDamhof和我正試圖讓數(shù)據(jù)架構(gòu)師們掌握數(shù)據(jù)的新現(xiàn)實,，以及如何重新獲得控制權(quán),。為此，我們發(fā)起了一場更全級別的數(shù)據(jù)架構(gòu)師運動,，幫助我們應(yīng)對不斷增長的數(shù)據(jù)海嘯,。為了提高認識，我們?yōu)椋ㄓ斜ж摰模┤鏀?shù)據(jù)架構(gòu)師設(shè)定了10條戒律。加入我們對抗數(shù)據(jù)熵的任務(wù)”,。

他們的元架構(gòu)概述如下：

實質(zhì)上，四象限將兩個相互競爭的維度結(jié)合起來：

數(shù)據(jù)控制與數(shù)據(jù)靈活性
數(shù)據(jù)傳送（推送）與數(shù)據(jù)消費(拉?。?/li>

以下是我對基本要素的個人“藝術(shù)印象”：

我特別喜歡他們對控制與靈活性困境的視覺隱喻

你必須牢牢抓住兩角來控制進攻的公牛,。你可以稍微改變一下路線，但代價是要么降低質(zhì)量,，要么降低靈活性,。

好的，現(xiàn)在我們（在荷蘭人的幫助下）已經(jīng)確定了全尺寸數(shù)據(jù)架構(gòu)的元特征,。那么,，什么決定了哪些事物進入哪個象限？

我們需要追溯到1974年,，讓（荷蘭）計算機科學(xué)先驅(qū)埃德斯格迪杰克斯特拉（Edsger Dijkstra）善意地提醒我們,，在他的“關(guān)于科學(xué)思想的作用”中，“關(guān)注點分離”的重要性,。

多層次關(guān)注架構(gòu)

Edsger Dijkstra正與Peter Naur教授一起研究歐洲Algol 60項目,。彼得·諾爾（Peter Naur）是我的教授，我在哥本哈根大學(xué)（University of哥本哈根）注冊的第二年,，他第一次擔(dān)任該大學(xué)計算機科學(xué)（computing science）這一新領(lǐng)域的教授,。我記得迪克斯特拉教授很好。因此,，我感謝馬蒂金·埃弗斯提醒我關(guān)注點哲學(xué)的分離,。我將讓Martijn解釋關(guān)注點在數(shù)據(jù)架構(gòu)中的作用：

在技術(shù)和商業(yè)需求的推動下，新的“數(shù)據(jù)/信息”建模思想,、方法和設(shè)計的數(shù)量正在激增,。作為架構(gòu)師，我們需要掌握這種新的動態(tài)…這是我改變游戲的線索,。我不想設(shè)計另一種類型的數(shù)據(jù)保管庫（ Data Vault）,、錨定建模（Anchor Modeling）或基于事實的建模，而是想扭轉(zhuǎn)局面,。不是建模技術(shù)/方法應(yīng)該具有中心階段,，而是它們的潛在關(guān)注點。各種各樣的建模是無止境的,，但是他們試圖管理的關(guān)注點并不是……因為我們看到一個運動,，一方面我們有嚴格和精益的建模方法，這些方法不能獨立發(fā)揮作用,，而只關(guān)注一組特定的關(guān)注點,，另一方面，我們看到了一些占主導(dǎo)地位的建模方法，它們試圖做所有的事情,，但是做得不太好,。一件合身的衣服越來越不現(xiàn)實了。此外,，數(shù)據(jù)建模架構(gòu)一直被視為非常靜態(tài)的,，但這也在迅速變化。我們不能一次解決所有問題,，因此組織進行數(shù)據(jù)建模/組織的方式逐漸改變變得越來越重要,。這一切使我相信，理解和管理“數(shù)據(jù)建?！钡牟豢芍摲椒ㄕ蔀橐环N必要,。

換言之，我們必須把這些問題公之于眾,。我們必須了解他們是如何相互依賴的,。這將給我們一個“路線圖”的幾個不同的路線，你可以采取解決一些具體的數(shù)據(jù)交付挑戰(zhàn),。

在我（2016）的關(guān)于NoSQL和SQL的圖形數(shù)據(jù)建模的書中,。我開發(fā)了一套全面的數(shù)據(jù)建模需求。我現(xiàn)在已經(jīng)把馬蒂金·埃弗斯的擔(dān)憂和我的一樣,，合并成了多層次的,。我建議這三個層次：

業(yè)務(wù)級關(guān)注點
解決方案級別（邏輯級別）關(guān)注點
實施問題

讓我們在模式設(shè)計的上下文中查看這三個級別。請注意,，屬性圖（property graphs）（即將發(fā)布的標(biāo)準(zhǔn)GQL標(biāo)準(zhǔn)的主題區(qū)域）非常接近業(yè)務(wù)概念級別（從白板到數(shù)據(jù)庫可能非常容易）,，這意味著所有3個級別也都與圖的模式設(shè)計上下文（不太窄）相關(guān)。

關(guān)于數(shù)據(jù)象限矩陣,，大多數(shù)（但不是所有）關(guān)注點在其中一個象限中有一個自然的“家”（見下表）,。有些問題與兩個或多個象限有關(guān)。

還要注意的是,，3個級別的類型都有一些“先天遺傳”,。

一般關(guān)注

面向業(yè)務(wù)的術(shù)語應(yīng)該在所有表示級別（可能有一些語法上的變化）中占主導(dǎo)地位，Q1,，但是在所有4個級別中都有體現(xiàn),，如相關(guān)的
設(shè)置各級代數(shù)支持（我最喜歡的愛好馬），Q1-4
模式優(yōu)先,；在許多業(yè)務(wù)領(lǐng)域中是一個有效的關(guān)注點,，需要可靠的、經(jīng)過驗證的,、受治理的,、經(jīng)業(yè)務(wù)批準(zhǔn)的定義和盡可能高質(zhì)量的數(shù)據(jù),，Q1
無模式；在許多業(yè)務(wù)領(lǐng)域也是一個有效的關(guān)注點,，現(xiàn)在這里需要大量具有意義和結(jié)構(gòu)的數(shù)據(jù),，這些數(shù)據(jù)尚未被發(fā)現(xiàn)，Q3,，Q4
精化,；（感謝Martijn提出了一個重要的問題）——……許多人假設(shè)所有模型都有相同的精化級別，即轉(zhuǎn)換在語義上是等價的,，甚至是同構(gòu)的。但有些模型可能包含不同層次的抽象,。為此,，模型需要成為一個三維矩陣。在這個立方體中旅行是需要的,，以表示我們在實際數(shù)據(jù)/信息建模中看到的抽象和精化,。Q1,Q4

業(yè)務(wù)級關(guān)注點

應(yīng)啟用商業(yè)術(shù)語（包括定義），Q2
基本依賴（概念之間的關(guān)系,，功能依賴和結(jié)構(gòu)依賴）,，Q1
業(yè)務(wù)友好的啟發(fā)和可視化，面向業(yè)務(wù)的級別必須建立在概念模型范例（我的另一個最喜歡的愛好馬）的基礎(chǔ)上,，Q1,，Q2
最小努力的業(yè)務(wù)概念模型；簡短的“從白板到第一個剪切模式的路徑”,，應(yīng)該易于維護,，Q3
解決方案獨立性，概念級架構(gòu)詳細信息應(yīng)可從解決方案級架構(gòu)詳細信息派生,，Q1
標(biāo)準(zhǔn)可視化范例,，Q1-4
標(biāo)準(zhǔn)概念類型（Q1）：業(yè)務(wù)對象業(yè)務(wù)對象的屬性示例值（用于說明）。
標(biāo)準(zhǔn)關(guān)系類型（Q1）：具有簡單基數(shù)的命名,、定向關(guān)系業(yè)務(wù)對象之間關(guān)系的定向樣式業(yè)務(wù)對象與其屬性之間關(guān)系的無向樣式,。
一般數(shù)據(jù)類型（數(shù)字、字符串,、日期,、金額…），Q1
在模式中作為文本注釋寫出的簡單業(yè)務(wù)規(guī)則,，Q1

解決方案級別的關(guān)注點

平臺獨立性,，解決方案級別的數(shù)據(jù)架構(gòu)詳細信息必須獨立于數(shù)據(jù)存儲平臺，Q1
解決方案派生,；解決方案級架構(gòu)應(yīng)該從業(yè)務(wù)概念架構(gòu)（其子集）派生,；一些概念成為邏輯業(yè)務(wù)對象，而其他概念成為這些業(yè)務(wù)對象的屬性，Q1,，Q4
逐步的解決方案優(yōu)化,；解決方案級別的模式應(yīng)該是漸進和迭代擴展的（有設(shè)計決策），Q1,，Q3
圖和子圖（包括集合）,，Q1-4圖（節(jié)點和關(guān)系的集合）子圖（圖的子集，例如通過集合代數(shù)）集合（集合代數(shù)）
唯一性,；約束條件,，例如連接的業(yè)務(wù)密鑰應(yīng)該是可定義的，Q1
Identity,；Identity與惟一性密切相關(guān),，對解決方案級細節(jié)（與實現(xiàn)細節(jié)分離）的支持也應(yīng)該是可定義的，包括對標(biāo)識符和代理項的支持,；參見下一個,，Q1
可更新性；確保所有功能依賴項都已在語義上得到解決,，而沒有懸掛屬性和關(guān)系,，并且所有標(biāo)識都已就位（在某些上下文中，這個問題可以放寬）,，Q1
模式控制的審計跟蹤和沿襲,；解決方案級別的模式應(yīng)該能夠包含技術(shù)審計數(shù)據(jù)，Q1
時間完整性,，Q1,，Q2
時間序列方面，Q1,，Q2
屬性圖類型（Q1）：泛型節(jié)點（否則為無類型節(jié)點）業(yè)務(wù)對象（標(biāo)記為概念）多類型節(jié)點業(yè)務(wù)對象或無類型節(jié)點的屬性（屬性是概念,，共享擁有它們的業(yè)務(wù)對象的標(biāo)識）在適用的情況下，具有精確基數(shù)的命名,、定向關(guān)系
強制屬性,；應(yīng)可定義，Q1

物理層面的擔(dān)憂

智能接收,；推斷或隱式類型,，加載泛型節(jié)點類型，標(biāo)記節(jié)點類型和關(guān)系類型,，但沒有顯式的預(yù)先模式定義（但有可用的事后物理模式詳細信息）,，Q3，Q4
轉(zhuǎn)換的簡單映射,；例如：物理級別的模式細節(jié)應(yīng)該很容易映射回解決方案級別的模式細節(jié),，例如通過抽象的可視化等,，Q1
完整的沿襲；從物理模式到解決方案模式再到業(yè)務(wù)概念模型的簡單回溯,，Q1
約束設(shè)施（以支持解決方案架構(gòu)詳細信息）,，Q1
標(biāo)識、唯一性和排序索引工具,，Q1
時間完整性支持,，Q1
把以上所有的問題都看作是一個初步的賭注。當(dāng)然有事情要討論,！

到最終模式的不同路徑

整合意味著很多關(guān)注點,！

從上面的列表中可以看到，嚴格的治理（Q1）相當(dāng)于許多關(guān)注點,；事實上,，三分之二的關(guān)注點。它們之間必然有相當(dāng)多的依賴關(guān)系,。

只有兩個問題在第一季度沒有發(fā)現(xiàn)：

無模式，以及
智能攝取

它們之間有些聯(lián)系,，有點與嚴格治理的理念對立,。

一些關(guān)注點是“全局的”：集合代數(shù)、可視化范式,、逐步求精,、圖和子圖以及時間序列。

還有一些問題,，適用于幾個象限,。

關(guān)注點依賴

我做了一個快速的第一輪的依賴關(guān)系之間的關(guān)注。有些關(guān)切需要存在其他關(guān)切：

我將這些問題與任何先決條件（暫時）無關(guān)：

面向業(yè)務(wù)的術(shù)語
商業(yè)術(shù)語
轉(zhuǎn)換的簡單映射
圖和子圖
平臺獨立性
精煉
集合代數(shù)
解決方案獨立性
逐步求精
時間完整性
時間序列

“先決條件”,，即“模式設(shè)計者用戶”必須指定由關(guān)注點處理的內(nèi)容,。

我?guī)缀蹩隙ê雎粤艘恍┦虑椋粫r間會證明…

使用模式的一些可能場景

我們現(xiàn)在能夠回答有關(guān)如何使用即將開發(fā)的屬性圖模式工具的問題,?？纯瓷厦娴囊蕾囮P(guān)系圖。

我們能少用模式嗎（沒有預(yù)先的模式定義）,？是的,，我們可以，只要“智能攝取”到位,。

我們能先處理schema嗎,？哦，是的,，我們可以,。

首先可工作的模式的最低要求是什么,？好吧，我們需要能夠指定模式詳細信息,，它們是屬性圖類型,。除此之外，還有其他幾個值得關(guān)注的領(lǐng)域,，這些領(lǐng)域可以根據(jù)實際的上下文被模式語言所覆蓋,。關(guān)注點按治理類型和“模式產(chǎn)品”的交付類型分組。

我必須開始幾乎定義一個業(yè)務(wù)術(shù)語表（術(shù)語定義）,？不,，任何其他問題都不需要這種特殊的問題。

如何以簡單的方式在模式中創(chuàng)建業(yè)務(wù)概念模型,？嗯,，我必須能夠映射到標(biāo)準(zhǔn)概念類型和標(biāo)準(zhǔn)關(guān)系類型。反過來,，這兩個要求我們可以命名基本依賴項,，它們成為創(chuàng)建屬性和關(guān)系的鑒別器。它還需要一些對業(yè)務(wù)友好的啟發(fā)式工具,，在我看來,，這是可視化（概念模型的可視化），但這種關(guān)注是可選的,，至少在上圖中描述的元架構(gòu)中是這樣,。

我可以使用schema last方法嗎？是的,，設(shè)計關(guān)注的是將模式細節(jié)從物理解決方案提升到邏輯解決方案,，從物理解決方案提升到面向業(yè)務(wù)的級別。

處理復(fù)雜性和矛盾

即將發(fā)布的屬性圖模式標(biāo)準(zhǔn)（property graph schema standard）既復(fù)雜又有許多相互矛盾的問題,，我選擇它作為演示全面架構(gòu)思想最重要部分的替罪羊,。從兩個硬維度（治理和交付風(fēng)格）的四個象限開始的全尺寸數(shù)據(jù)架構(gòu)元框架，是一個很好的架構(gòu)框架,，甚至是一種模式語言,，可以在許多不同的上下文和開發(fā)風(fēng)格中使用。

我非常感謝Ronald Damhof和Martijn Evers以及全面數(shù)據(jù)架構(gòu)社區(qū)的其他成員分享他們的想法和經(jīng)驗,。我期待著從他們那里學(xué)到更多,。把好東西拿過來，阿爾斯圖布利夫特,！

原文：
https://www./2019-full-scale-schema-modeling/

本文：
http:///node/1026

討論：請加入知識星球或微信圈子【首席架構(gòu)師圈】