業(yè)務(wù)系統(tǒng)隨著上線時(shí)間的加長(zhǎng),,系統(tǒng)數(shù)據(jù)增加越來(lái)越多,目前普遍采用mysql數(shù)據(jù)庫(kù)作為存儲(chǔ)設(shè)備,,數(shù)據(jù)有幾種區(qū)分:1,、數(shù)據(jù)有一個(gè)時(shí)效性,操作完后不會(huì)再使用(可能會(huì)進(jìn)行報(bào)表統(tǒng)計(jì))2,、操作完后,,數(shù)據(jù)不會(huì)進(jìn)行修改操作,只是進(jìn)行查詢 3,、數(shù)據(jù)隨時(shí)都會(huì)進(jìn)行操作查詢,。 第一種場(chǎng)景,可以把數(shù)據(jù)歸檔到歷史庫(kù)中備份,,減輕主應(yīng)用庫(kù)的壓力,。 第
二種場(chǎng)景,歸檔到歷史庫(kù)后,,雖然不會(huì)進(jìn)行修改的操作,,但是還是會(huì)充斥大量的查詢操作。隨著歷史庫(kù)的數(shù)據(jù)量逐漸增大,,查詢壓力慢慢的轉(zhuǎn)移到歷史庫(kù)中,,如果歸
檔及處理歷史庫(kù)就變得極為重要。此種場(chǎng)景的歷史數(shù)據(jù)只會(huì)進(jìn)行查詢操作,,可以按照主業(yè)務(wù)的操作進(jìn)行分區(qū)處理,,對(duì)于分區(qū)的條件選擇就變得尤其重要。另外資源允
許可以進(jìn)行分庫(kù)及分表操作,,把不同的數(shù)據(jù)定位到不同的庫(kù)表中,,可以極大的減輕查詢壓力。對(duì)于分區(qū)跟分庫(kù)分表有各自的優(yōu)缺點(diǎn),,這兒就不一一列舉了,。 對(duì)于有些數(shù)據(jù)復(fù)雜數(shù)據(jù)可能需要進(jìn)行多表關(guān)聯(lián),,查詢效率極低,可以考慮冗余一張針對(duì)此業(yè)務(wù)的單表,。 第
三張場(chǎng)景,,沒(méi)有冷數(shù)據(jù),所有數(shù)據(jù)都有可能進(jìn)行操作,,查詢頻率一樣,。針對(duì)這些數(shù)據(jù)前期當(dāng)然需要進(jìn)行適當(dāng)?shù)囊?guī)劃,采用適當(dāng)?shù)姆謳?kù)分表,,具體可以按照不同的業(yè)務(wù)
分庫(kù),,減輕單個(gè)庫(kù)的壓力。再根據(jù)業(yè)務(wù)進(jìn)行取模分表,。如果需要多表關(guān)聯(lián)的數(shù)據(jù)不建議進(jìn)行分庫(kù)分表,,此類數(shù)據(jù)進(jìn)行多表關(guān)聯(lián)查詢效率會(huì)很低??梢圆捎萌哂嘧侄稳?
余表的方式來(lái)操作,,對(duì)于主要的數(shù)據(jù)進(jìn)行不同的表設(shè)計(jì),帶來(lái)的副作用就是冗余多份數(shù)據(jù),。 以上可能主要針對(duì)的是關(guān)系型數(shù)據(jù)庫(kù)的操作,,當(dāng)然可以采用hadoop來(lái)做一些數(shù)據(jù)處理存入Hbase等非關(guān)系型數(shù)據(jù)庫(kù),因目前并沒(méi)有接入到Hbase中的應(yīng)用所以暫不做討論,。 數(shù)據(jù)量增大對(duì)于數(shù)據(jù)報(bào)表的需求可能壓力會(huì)很大,,此種報(bào)表需求接入到hbase當(dāng)然是一種選擇,另外可能利用canal對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行再次存儲(chǔ),,存儲(chǔ)成報(bào)表需求的數(shù)據(jù)結(jié)構(gòu),。 隨著大數(shù)據(jù)時(shí)代的來(lái)臨,數(shù)據(jù)的價(jià)值越來(lái)越大,,我們應(yīng)該更好的利用數(shù)據(jù)來(lái)做好分析,,售后的業(yè)務(wù)有太多需要挖掘的地方,分析客戶的返修率,,退貨習(xí)慣,,返修原因等,加強(qiáng)商品的管理,,減少客戶返修率等,。
|
|
來(lái)自: KM360d > 《數(shù)據(jù)庫(kù)》