版權(quán)所有?德塔精要，轉(zhuǎn)載請注明出處

一概述說明

傳統(tǒng)的業(yè)務(wù)系統(tǒng)在運行較長周期后會積累了大量歷史數(shù)據(jù),，這些海量數(shù)據(jù)卻沒有得到有效的分析和利用,，只是對數(shù)據(jù)進行簡單的統(tǒng)計分析獲得一些表面、淺顯,、價值不高的結(jié)果,。構(gòu)建一個大數(shù)據(jù)分析平臺，結(jié)合多個業(yè)務(wù)系統(tǒng)從中抽取海量數(shù)據(jù)進行管理,、整合,、分析和利用，從中發(fā)現(xiàn)潛在問題和有價值的規(guī)律,，并通過可視化的方式進行展示,，能夠為管理層提供科學決策的支持，提升企業(yè)業(yè)務(wù)能力和效益,。

二大數(shù)據(jù)構(gòu)建目標

(1)實現(xiàn)數(shù)據(jù)的共享和交換,。將各應(yīng)用系統(tǒng)的數(shù)據(jù)進行集成和整合，使來源各異,、種類不一的各類數(shù)據(jù)可以相互使用,，豐富數(shù)據(jù)的來源，打破系統(tǒng)間的信息孤島,，實現(xiàn)數(shù)據(jù)的共享和應(yīng)用,。

(2)大數(shù)據(jù)的采集和存儲。研制數(shù)據(jù)適配接口,，對接各應(yīng)用系統(tǒng)獲取各類異構(gòu)數(shù)據(jù),，并采用大數(shù)據(jù)主流的框架和系統(tǒng)對數(shù)據(jù)進行統(tǒng)一存儲，為數(shù)據(jù)的挖掘和分析打好基礎(chǔ),。

(3)大數(shù)據(jù)分析與決策,。采用數(shù)據(jù)挖掘、數(shù)理統(tǒng)計等相關(guān)技術(shù),，構(gòu)建大數(shù)據(jù)分析框架,，提取數(shù)據(jù)中隱含的、未知的,、極具潛在應(yīng)用價值的信息和規(guī)律,，為企業(yè)的各項工作提供決策和指導。

三大數(shù)據(jù)構(gòu)建原則

(1)安全性,。大數(shù)據(jù)分析平臺應(yīng)采取安全性高的訪問認證機制,，同時在平臺建設(shè)中要充分重視系統(tǒng)自身的安全性以及其他應(yīng)用系統(tǒng)的安全性,。

(2)可擴展性。大數(shù)據(jù)的分析和應(yīng)用是一項長期持久的工作,，隨著業(yè)務(wù)的變化,，對于信息平臺的規(guī)模和要求也會不斷變化。因此,，要求平臺的設(shè)計和實施要具有良好的擴展性,，以滿足不斷發(fā)展變化的要求。

（3）靈活性,。在平臺的設(shè)計和實施中要考慮到與其他應(yīng)用系統(tǒng)的整合,，開發(fā)出多個類型的接口，能夠靈活接入其他系統(tǒng),、拓展服務(wù)類型,。

四大數(shù)據(jù)總體框架

基于Hadoop技術(shù)的數(shù)據(jù)分析平臺自下而上一般分為三個部分，分別為：數(shù)據(jù)層,、大數(shù)據(jù)采集與存儲,、數(shù)據(jù)分析及展示。

(1)數(shù)據(jù)層,，針對不同系統(tǒng)進行分析,，制定系統(tǒng)數(shù)據(jù)采集范圍與目標，收集各個業(yè)務(wù)系統(tǒng)產(chǎn)生的各類數(shù)據(jù),，將各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行整合,，為大數(shù)據(jù)的分析提供支撐。

(2)大數(shù)據(jù)采集與存儲旨在為各類異構(gòu)數(shù)據(jù)研制適配接口,，與其他各系統(tǒng)對接,，并為數(shù)據(jù)提供適配、轉(zhuǎn)換,、存儲等基本管理功能，基本步驟包括：

a.數(shù)據(jù)抽?。?/strong>針對大數(shù)據(jù)分析平臺需要采集的各類數(shù)據(jù),，分別有針對性地研制適配接口。對于已有的信息系統(tǒng),，研發(fā)對應(yīng)的接口模塊與各信息系統(tǒng)對接,，不能實現(xiàn)數(shù)據(jù)共享接口的系統(tǒng)通過ETL工具進行數(shù)據(jù)采集，支持多種類型數(shù)據(jù)庫,，如SQL SERVER, ORACLE, ACCESS等數(shù)據(jù)庫,，按照相應(yīng)規(guī)范對數(shù)據(jù)進行清洗轉(zhuǎn)換，從而實現(xiàn)數(shù)據(jù)的統(tǒng)一存儲管理,。對于其他數(shù)據(jù),，需要具體根據(jù)數(shù)據(jù)情況實現(xiàn)相關(guān)接口,，利用對應(yīng)接口獲取相關(guān)數(shù)據(jù)信息，進而完成數(shù)據(jù)的抽取,。

b,、數(shù)據(jù)預處理：為使大數(shù)據(jù)分析平臺的MAPREDUCE算法能更方便對數(shù)據(jù)進行處理，同時為了使得數(shù)據(jù)的存儲機制擴展性,、容錯性更好,，需要把通過數(shù)據(jù)按照相應(yīng)關(guān)聯(lián)性進行組合，并將據(jù)轉(zhuǎn)化為文本格式,，作為文件存儲下來,。

c、數(shù)據(jù)存儲：為了提升數(shù)據(jù)存儲的擴展性和容錯性,，采用主流的大數(shù)據(jù)框架Hadoop的HDFS文件系統(tǒng)對各類數(shù)據(jù)統(tǒng)一進行文本化存儲,，數(shù)據(jù)按相應(yīng)規(guī)則存儲，實現(xiàn)每日保存一套完整數(shù)據(jù)文件集,，形成數(shù)據(jù)倉庫,。

(3)數(shù)據(jù)分析和展示是核心業(yè)務(wù)層，通過數(shù)據(jù)報表工具,，根據(jù)需求制定多樣的,，針對性的數(shù)據(jù)報表。通過基于的Hadoop的MapReduce編程模型實現(xiàn)的數(shù)據(jù)分析系統(tǒng),，針對存儲的數(shù)據(jù)進行數(shù)據(jù)處理,、算法運行、結(jié)果轉(zhuǎn)換操作,，將結(jié)果保存為報表文件,，每日形成的報表文件集。報表展現(xiàn)系統(tǒng)將生成的報表文件以可視化方式進行展現(xiàn),。