久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

從數(shù)據(jù)倉庫到數(shù)據(jù)湖

 天下小糧倉 2021-10-01

數(shù)據(jù)庫–>數(shù)據(jù)倉庫–>數(shù)據(jù)湖的架構(gòu)演變,反映的是數(shù)據(jù)需求變更
了解最近技術(shù)發(fā)展動態(tài),,記錄一下相關(guān)知識點,,跟上技術(shù)發(fā)展的步伐。

  • 上半年參加系統(tǒng)分析師考試,,論文部分有個論題 是關(guān)于AIOPS的,。我在想實際工作中,我們連DEVOPS流程還沒做好呢,,AIOPS已經(jīng)在一些大公司實施了,。
  • 剛剛過去的周六,參加系統(tǒng)架構(gòu)設(shè)計師考試,,論文部分又出現(xiàn)了數(shù)據(jù)湖的應(yīng)用實踐,,數(shù)據(jù)湖與數(shù)據(jù)倉庫的差異性有哪些?新的概念不斷的冒出,,基礎(chǔ)知識,,歷史淵源做一個整理記錄。

1,、數(shù)據(jù)倉庫是什么

“A data warehouseis a subject-oriented, integrated, time-variant, and nonvolatile collection ofdata in support of management’s decision-making process.”
—W. H. Inmon

數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別就是OLAP和OLTP的區(qū)別,。
數(shù)據(jù)庫支持是OLTP,,數(shù)據(jù)倉庫支持的是OLAP

數(shù)據(jù)倉庫一般基于數(shù)據(jù)庫實現(xiàn),,數(shù)據(jù)倉庫可以是基于關(guān)系數(shù)據(jù)庫實現(xiàn)的稱為ROLAP,,數(shù)據(jù)倉庫也可以是基于多維數(shù)據(jù)結(jié)構(gòu)實現(xiàn)的為MOLAP

2、數(shù)據(jù)建模

數(shù)據(jù)倉庫最為核心的內(nèi)容分類兩部分:

  • 基于關(guān)系數(shù)據(jù)庫的多維建模(RDBMS-based dimensional modeling)
    建模方法論-結(jié)合RDBMS的范式理論,,建模過程中涉及的幾個概念:

雪花模型

星型模型

全量數(shù)據(jù),、增量數(shù)據(jù)

  • 解決數(shù)據(jù)存儲的拉鏈設(shè)計模式
  • 基于數(shù)據(jù)立方體的OLAP查詢(cube-based OLAP)

3、傳統(tǒng)數(shù)據(jù)倉庫及代表產(chǎn)品

4,、大數(shù)據(jù)架構(gòu)下的數(shù)據(jù)倉庫

lamda架構(gòu)

kappa架構(gòu)

5,、數(shù)據(jù)湖是什么?

6,、數(shù)據(jù)湖,、數(shù)據(jù)倉庫有何區(qū)別

7、數(shù)據(jù)湖應(yīng)用場景有哪些

8,、參考材料

從數(shù)據(jù)倉庫到數(shù)據(jù)湖——淺談數(shù)據(jù)架構(gòu)演進

martin-flower-about-Datalake

數(shù)據(jù)倉庫的架構(gòu)與設(shè)計

etl-開發(fā)過程介紹

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點,。請注意甄別內(nèi)容中的聯(lián)系方式,、誘導購買等信息,謹防詐騙,。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多