進入互聯(lián)網(wǎng)時代后,，隨著各項技術的發(fā)展進步，網(wǎng)絡工具每天產(chǎn)生的信息量和數(shù)據(jù)呈現(xiàn)爆炸式增長,，數(shù)據(jù)的量的計算已經(jīng)超出很多傳統(tǒng)數(shù)據(jù)工具的處理能力外,，大數(shù)據(jù)工具的發(fā)展和云計算技術的進步，適應了這樣一個變化,，大數(shù)據(jù)概念隨之興起,。大數(shù)據(jù)分析師和數(shù)據(jù)挖掘工程師成了大數(shù)據(jù)時代的熱門崗位。

大數(shù)據(jù)是目前階段最火熱得互聯(lián)網(wǎng)行業(yè)詞匯之一,，各行各業(yè)都有很多企業(yè)都在宣傳和吹棒該企業(yè)如何借助大數(shù)據(jù)工具,，借力大數(shù)據(jù)發(fā)力，使得企業(yè)產(chǎn)品服務或者業(yè)務提升到了另一個階段,，使得業(yè)務獲得了很大得成功?，F(xiàn)在的各種媒體也對大數(shù)據(jù)做各種各樣的宣傳，使得大數(shù)據(jù)深入人心,。雖然大很多人都聽說過大數(shù)據(jù)這個名詞,，但是絕大部分人對大數(shù)據(jù)還是沒有什么概念或者不了解其中的一些內(nèi)涵。

筆者從事數(shù)據(jù)分析已有很長一段時間,，對大數(shù)據(jù)也有自己的一些了解,，在這里就簡單的給大家站在普通大眾能夠比較容易理解的角度去闡述下什么是大數(shù)據(jù)。

大數(shù)據(jù)是什么,？

大數(shù)據(jù)是指在現(xiàn)今互聯(lián)網(wǎng)信息時代,、通過各項分布式技術和渠道搜集來自于互聯(lián)網(wǎng)媒介中的數(shù)據(jù)，比如：社交網(wǎng)絡數(shù)據(jù),、電子商務網(wǎng)站數(shù)據(jù),、顧客來訪記錄,、銀行記錄數(shù)據(jù)等各行各業(yè)在互聯(lián)網(wǎng)上數(shù)據(jù)的歸集。

麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取,、存儲,、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合.具有海量的數(shù)據(jù)規(guī)模,、快速的數(shù)據(jù)流轉(zhuǎn),、多樣的數(shù)據(jù)類型和價值密度低四大特征。

簡單來說,，大數(shù)據(jù)就是數(shù)據(jù)量和數(shù)據(jù)類型多到不能用傳統(tǒng)的數(shù)據(jù)工具來存儲的數(shù)據(jù),，需要借助非傳統(tǒng)工具來處理和存儲數(shù)據(jù)，我們經(jīng)常會聽到的云計算就是處理和存儲大數(shù)據(jù)的技術之一,。大數(shù)據(jù)的核心技術涉及到大規(guī)模并行處理（MPP）數(shù)據(jù)庫,、數(shù)據(jù)挖掘、分布式文件系統(tǒng),、分布式數(shù)據(jù)庫,、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng),。

對于不同的人而言,，大數(shù)據(jù)這個詞代表的意義不一樣

對于初創(chuàng)企業(yè)和投資者，大數(shù)據(jù)是一個熱門的融資標簽,，這個標簽意味著更多的資本涌入,。很多互聯(lián)網(wǎng)企業(yè)都爭著把自己貼上大數(shù)據(jù)公司的標簽

對于多數(shù)互聯(lián)網(wǎng)公司或者工程師而言，大數(shù)據(jù)就是把一堆亂七八糟的數(shù)據(jù)收集采集后放到HDFS上進行一些計算,。計算的工具有很多,，最常見的是 Map-Reduce，但是技術一直在演進,，現(xiàn)在還流行 Impala,、Spark、Presto 等等

對于普通大眾而言,，大數(shù)據(jù)意味著個人數(shù)據(jù)信息的無隱私化,，各行各業(yè)的互聯(lián)網(wǎng)公司，各種各樣的APP都在盡可能最大限度的收集終端用戶的隱私,，從個人出行位置變更,，個人通信頻率，個人使用APP消費習慣,，家庭住址,，消費信息等等，只要你想的到的幾乎都已經(jīng)被各公司收集

大數(shù)據(jù)的價值體現(xiàn)

對大量消費者提供產(chǎn)品或服務的企業(yè),，可以利用收集到的各類數(shù)據(jù),，進行精準營銷,。很多企業(yè)可以利用大數(shù)據(jù)提供服務，做服務轉(zhuǎn)型等,，比如類似百度公司，掌握了大量用戶的出行信息,，掌握了大量消費者的居住工作數(shù)據(jù),，可以為政府企業(yè)提供交通規(guī)劃和城市規(guī)劃等方面的信息服務

大數(shù)據(jù)推動商業(yè)模式的變革，催生產(chǎn)品和服務的創(chuàng)新,。比如阿里基于海量用戶的客戶數(shù)據(jù)和行為數(shù)據(jù),，建立了以網(wǎng)絡數(shù)據(jù)為基礎的信用體系，打破傳統(tǒng)的金融借貸模式,，使得貸款不需要抵押品和擔保等

大數(shù)據(jù)正推動人類社會進入人工智能時代,。數(shù)據(jù)是人工智能的基礎，人工智能是建立在大數(shù)據(jù)技術和海量數(shù)據(jù)的基礎的一項新興行業(yè),。正是因為數(shù)據(jù),。在大數(shù)據(jù)這個概念出現(xiàn)之前計算機并不能很好的解決需要人去做判別的一些問題。所以說如今的人工智能不如說是數(shù)據(jù)智能,，人工智能其實就是用大量的數(shù)據(jù)作導向,，讓需要機器來做判別的問題最終轉(zhuǎn)化為數(shù)據(jù)問題。這就是今天我們所說的,，人工智能的本質(zhì),。目前，人工智能發(fā)展所取得的大部分成就都和大數(shù)據(jù)密切相關,。通過數(shù)據(jù)采集,、處理、分析,，從各行各業(yè)的海量數(shù)據(jù)中,，獲得有價值的洞察，為更高級的算法提供素材,。