一,、數(shù)據(jù)庫(kù)技術(shù)發(fā)展概述

數(shù)據(jù)庫(kù)是管理數(shù)據(jù)的技術(shù)，發(fā)展了以數(shù)據(jù)建模和數(shù)據(jù)庫(kù)管理系統(tǒng)核心技術(shù)為主,，內(nèi)容豐富,、領(lǐng)域?qū)拸V的一門學(xué)科，帶動(dòng) 了一類巨大的軟件產(chǎn)業(yè)——數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）產(chǎn)品 及其相關(guān)工具和解決方案

數(shù)據(jù)模型是數(shù)據(jù)庫(kù)系統(tǒng)的核心和基礎(chǔ),。

數(shù)據(jù)庫(kù)技術(shù)的發(fā)展階段

第一代數(shù)據(jù)庫(kù)系統(tǒng)

層次模型數(shù)據(jù)庫(kù)管理系統(tǒng)：1969年IBM公司研制的層次模型數(shù)據(jù)庫(kù)管理系統(tǒng)IMS

網(wǎng)狀模型數(shù)據(jù)庫(kù)管理系統(tǒng)：DBTG所提議的方法是基于網(wǎng)狀結(jié)構(gòu)的,，是網(wǎng)狀模型 數(shù)據(jù)庫(kù)系統(tǒng)的典型代表

共同特點(diǎn)

（1）支持三級(jí)模式（外模式、模式,、內(nèi)模式）的體系結(jié)構(gòu),。

（2）用存取路徑來(lái)表示數(shù)據(jù)之間的聯(lián)系。

（3）獨(dú)立的數(shù)據(jù)定義語(yǔ)言,。

（4）導(dǎo)航的數(shù)據(jù)操縱語(yǔ)言,。

第二代數(shù)據(jù)庫(kù)系統(tǒng)（20世紀(jì)70年代稱 為數(shù)據(jù)庫(kù)時(shí)代）：關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)

關(guān)系數(shù)據(jù)庫(kù)是以關(guān)系模型為基礎(chǔ)。 關(guān)系模型是由數(shù)據(jù)結(jié)構(gòu),、關(guān)系操作和數(shù)據(jù)完整性三部分組成,。 關(guān)系代數(shù)作為語(yǔ)言基礎(chǔ)，由關(guān)系數(shù)據(jù)理論作為理論基礎(chǔ),。

20世紀(jì)70年代是關(guān)系數(shù)據(jù)庫(kù)理論研究和原型開發(fā)的時(shí)代,，其 主要成果有：

（1）奠定了關(guān)系模型的理論基礎(chǔ)，給出了人們一致接受的關(guān) 系模型的規(guī)范說(shuō)明,。

（2）研究了關(guān)系數(shù)據(jù)語(yǔ)言,，有關(guān)系代數(shù)、關(guān)系演算,、SQL語(yǔ) 言及QBE等,。

（3）研制了大量的RDBMS的原型，攻克了系統(tǒng)實(shí)現(xiàn)中查詢優(yōu) 化,、并發(fā)控制,、故障恢復(fù)等一系列關(guān)鍵技術(shù)。

關(guān)系數(shù)據(jù)庫(kù)系統(tǒng) 特點(diǎn)： · 模型簡(jiǎn)單清晰 · 理論基礎(chǔ)好 · 數(shù)據(jù)獨(dú)立性強(qiáng) · 數(shù)據(jù)庫(kù)語(yǔ)言非過(guò)程化 · 標(biāo)準(zhǔn)化

新一代數(shù)據(jù)庫(kù)系統(tǒng)

特點(diǎn)：

• 應(yīng)支持?jǐn)?shù)據(jù)管理,、對(duì)象管理和知識(shí)管理
• 必須保持或繼承第二代數(shù)據(jù)庫(kù)系統(tǒng)的技術(shù)
• 必須對(duì)其他系統(tǒng)開放

二,、數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘

計(jì)算機(jī)數(shù)據(jù)處理工作的類型：

• 操作型處理：“也稱為聯(lián)機(jī)事務(wù)處理（OLTP） 針對(duì)具體業(yè)務(wù)在數(shù)據(jù)庫(kù)聯(lián)機(jī)的日常操作
• 分析型處理：也稱為聯(lián)機(jī)分析處理（OLAP） 通常是對(duì)海量的歷史數(shù)據(jù)查詢和分析

傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù) VS 數(shù)據(jù)倉(cāng)庫(kù)

傳統(tǒng)的數(shù)據(jù)庫(kù)特點(diǎn)：操作型處理

數(shù)據(jù)倉(cāng)庫(kù)特點(diǎn)：分析型處理

數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse，DW）：是面向主題的,、集成的,、穩(wěn)定的、 隨時(shí)間變化的數(shù)據(jù)集合,，用以支持管理決策的過(guò)程,。 數(shù)據(jù)倉(cāng)庫(kù)不是可以買到的產(chǎn)品,，而是一種面向分析的數(shù)據(jù)存儲(chǔ)方案。

特點(diǎn)：面向主題,、 集成性、數(shù)據(jù)的非 易失性,、數(shù)據(jù)的時(shí) 變性

數(shù)據(jù)倉(cāng)庫(kù)的三個(gè)概念：

• 粒度：粒度是指數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級(jí)別,，細(xì)化程 度越高，粒度級(jí)就越小,，相反地,，細(xì)化程度越低，粒度級(jí)就越大
• 分割：
• 維：

什么是數(shù)據(jù)挖掘：數(shù)據(jù)挖掘是從大量的,、不完全的,、有噪 聲的、模糊的,、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中 發(fā)現(xiàn)并提取隱藏在其中的,、人們事先不 知道的、但又是潛在有用的信息和知識(shí) 的一種技術(shù),。又被稱為知識(shí)發(fā)現(xiàn)

OLAP：數(shù)據(jù)匯總/聚集工具,，可簡(jiǎn)化數(shù)據(jù)分析 數(shù)據(jù)挖掘、簡(jiǎn)化和支持交互式數(shù)據(jù)分析

數(shù)據(jù)挖掘：自動(dòng)地發(fā)現(xiàn)隱藏在大量數(shù)據(jù)中的隱含模式和有趣知識(shí),、盡可能自動(dòng)處理

數(shù)據(jù)挖掘的功能

• 概念描述
• 關(guān)聯(lián)分析
• 分類與預(yù)測(cè)
• 聚類
• 孤立點(diǎn)檢測(cè)
• 趨勢(shì)和演變分析

三,、大數(shù)據(jù)管理技術(shù)

大數(shù)據(jù)及其特征：大數(shù)據(jù)是指無(wú)法在可容忍的時(shí)間內(nèi)用現(xiàn)有信息技術(shù)和軟、硬件工具對(duì)其進(jìn) 行感知,、獲取,、管理、處理的服務(wù)的數(shù)據(jù)集合,。

特點(diǎn)：大量化,、多樣化、快速化 ,、價(jià)值密度低

大數(shù)據(jù)管理技術(shù)典型代表

大數(shù)據(jù)存儲(chǔ) ,、NoSQL 數(shù)據(jù)管理系統(tǒng)、MapReduce技術(shù)

數(shù)據(jù)倉(cāng)庫(kù)的建立將操作型處理和分析型處理區(qū)分開來(lái),。數(shù)據(jù)倉(cāng)庫(kù)為（分析型 處理）服務(wù),，傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)為（操作型處理）服務(wù)