大數(shù)據(jù)作為目前這個時代最流行的概念,，被越來越多的人和企業(yè)所認可,，并且在不斷的體現(xiàn)其價值。

IT時代其實就是大數(shù)據(jù)的時代,。我們所產(chǎn)生的數(shù)據(jù)也越來越多,，這些數(shù)據(jù)就是是一種無窮無盡的資源，需要不斷的去提取,，去實現(xiàn)它的價值,。

因此在學習大數(shù)據(jù)之前要先搞清楚幾個問題？

1,、什么是大數(shù)據(jù)

2,、什么是云計算

3、什么是數(shù)據(jù)挖掘

4,、什么是人工智能

5,、什么條件才可以去學習大數(shù)據(jù)

那么，真正要學習大數(shù)據(jù)開發(fā)需要掌握哪些技術(shù)呢,？

1,、Hadoop框架

核心設(shè)計

HDFS：為海量數(shù)據(jù)提供儲存

MapReduce：為數(shù)據(jù)提供計算

2、數(shù)據(jù)倉庫技術(shù)

大數(shù)據(jù)倉庫技術(shù)主要包括：hive,、HBASE,、sqoop、flume

3,、spark內(nèi)存計算框架

是基于內(nèi)存計算的分布式框架,。

學習要求：了解spark源碼、能夠優(yōu)化spark,、能夠用Java,、Scala、Python三種計算機語言開發(fā)任何spark程序

3,、機器學習和數(shù)據(jù)挖掘

4,、storm流式計算框架

兩種計算方式：離線計算和流式計算

流式計算：對大規(guī)模的不斷運動的流動數(shù)據(jù)進行實時的進行分析

5,、云計算之OpenStack和docker

目前流行的云平臺都是基于laas層的云計算