深度學(xué)習(xí)是一套基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)技術(shù),，它仍在發(fā)展之中，不過(guò)在解決業(yè)務(wù)問(wèn)題方面顯示出大有潛力,。它讓計(jì)算機(jī)能夠從大量非結(jié)構(gòu)化數(shù)據(jù)和二進(jìn)制數(shù)據(jù)中找出感興趣的內(nèi)容,，并且推導(dǎo)出關(guān)系，而不需要特定的模型或編程指令,。

這些算法的源動(dòng)力主要來(lái)自人工智能領(lǐng)域,，人工智能的總體目標(biāo)是模擬人類大腦觀察、分析,、學(xué)習(xí)和做決定的能力,，尤其是處理極其復(fù)雜的問(wèn)題,。深度學(xué)習(xí)方法的一個(gè)關(guān)鍵概念就是數(shù)據(jù)的分布式表示,，因而可以對(duì)輸入數(shù)據(jù)的抽象特征實(shí)現(xiàn)大量的組合，從而可以緊湊表示每個(gè)樣本,，最終獲得更豐富的泛化,。

深度學(xué)習(xí)主要用于從大量未標(biāo)記/未監(jiān)督的數(shù)據(jù)當(dāng)中學(xué)習(xí)，因而對(duì)于從大數(shù)據(jù)中提取有意義的表示和模式頗具吸引力,。比如說(shuō),，它可以用來(lái)識(shí)別許多不同類型的數(shù)據(jù)，比如視頻中的形狀,、顏色和對(duì)象,，或者甚至是圖像中的貓，就像谷歌研制的一個(gè)神經(jīng)網(wǎng)絡(luò)在2012年所做的那樣,。

因此,，企業(yè)可能會(huì)看到更多的注意力投向半監(jiān)督式或未監(jiān)督式訓(xùn)練算法來(lái)處理進(jìn)入的大量數(shù)據(jù)。

物聯(lián)網(wǎng)和大數(shù)據(jù)是同一枚硬幣的兩面;數(shù)十億與互聯(lián)網(wǎng)連接的“物件”將生產(chǎn)大量數(shù)據(jù),。然而,，這本身不會(huì)引發(fā)另一場(chǎng)工業(yè)革命,，不會(huì)改變?nèi)粘５臄?shù)字化生活，也不會(huì)提供拯救地球的預(yù)警系統(tǒng),。來(lái)自設(shè)備外部的數(shù)據(jù)才是企業(yè)讓自己與眾不同的方面,。結(jié)合上下文來(lái)捕獲和分析這種類型的數(shù)據(jù)為公司帶來(lái)了新的發(fā)展前途。

研究表明,，相比計(jì)劃維修,，預(yù)測(cè)性維護(hù)最多可省下12%的成本，因而使維護(hù)成本降低30%,，將設(shè)備故障造成的停運(yùn)時(shí)間縮短70%,。對(duì)于制造工廠或運(yùn)輸公司來(lái)說(shuō)，從數(shù)據(jù)驅(qū)動(dòng)的決策獲得這些結(jié)果,，意味著在改進(jìn)運(yùn)營(yíng)和節(jié)省成本方面大有機(jī)會(huì),。

不像常規(guī)的商業(yè)智能(BI)軟件對(duì)存儲(chǔ)在服務(wù)器硬盤(pán)上的數(shù)據(jù)運(yùn)行查詢，內(nèi)存中技術(shù)查詢的是載入到內(nèi)存中的信息,，這可以通過(guò)減少或甚至消除磁盤(pán)輸入/輸出瓶頸來(lái)顯著提升分析性能,。就大數(shù)據(jù)而言，正是由于TB級(jí)系統(tǒng)和大規(guī)模并行處理,，讓內(nèi)存中分析技術(shù)更令人關(guān)注,。

在現(xiàn)階段，大數(shù)據(jù)分析的核心其實(shí)是發(fā)現(xiàn)數(shù)據(jù),。要是沒(méi)有毫秒級(jí)延遲,，面對(duì)數(shù)百萬(wàn)次/數(shù)十億次的迭代，運(yùn)行迭代以查找數(shù)據(jù)點(diǎn)之間的關(guān)聯(lián)就不會(huì)成為現(xiàn)實(shí),。在內(nèi)存中處理的速度比磁盤(pán)上處理要快三個(gè)數(shù)量級(jí),。

2014年，Gartner創(chuàng)造了HTAP(混合事務(wù)/分析處理)這個(gè)術(shù)語(yǔ),，描述這樣一種新技術(shù)：讓事務(wù)和分析可以在同一個(gè)內(nèi)存中數(shù)據(jù)庫(kù)中處理,。它讓?xiě)?yīng)用程序領(lǐng)導(dǎo)人通過(guò)更強(qiáng)的情境意識(shí)和改進(jìn)的業(yè)務(wù)敏捷性來(lái)進(jìn)行創(chuàng)新，然而這需要徹底改變?cè)屑軜?gòu),，還需要相應(yīng)的技術(shù)和技能,，才能使用內(nèi)存中計(jì)算技術(shù)作為賦能者(enabler)。

許多公司已經(jīng)在充分利用混合事務(wù)/分析處理(HTAP);比如說(shuō),，零售商能夠迅速識(shí)別在過(guò)去一小時(shí)內(nèi)最暢銷的時(shí)尚商品,，并立即為該商品定制優(yōu)惠促銷活動(dòng)。

但是HTAP方面炒作得很厲害,，許多公司一直在過(guò)度使用它,。如果用戶需要在一天內(nèi)多次以同一方式查看同一數(shù)據(jù)，數(shù)據(jù)又沒(méi)有什么顯著的變化,，那么使用內(nèi)存中技術(shù)是浪費(fèi)錢(qián),。雖然你可以使用HTAP更快地執(zhí)行分析,，但所有事務(wù)必須駐留在同一個(gè)數(shù)據(jù)庫(kù)中。問(wèn)題是,，今天的大多數(shù)分析工作是把來(lái)自許多不同系統(tǒng)的事務(wù)集中起來(lái),。

混合云和公共云服務(wù)越來(lái)越受歡迎。大數(shù)據(jù)成功的關(guān)鍵是在彈性基礎(chǔ)設(shè)施上運(yùn)行(Hadoop)平臺(tái),。

我們會(huì)看到數(shù)據(jù)存儲(chǔ)和分析趨于融合,，帶來(lái)新的更智能的存儲(chǔ)系統(tǒng)，它們將經(jīng)過(guò)優(yōu)化,，用于存儲(chǔ),、管理和排序龐大的PB級(jí)數(shù)據(jù)集。展望未來(lái),，我們可以預(yù)計(jì)會(huì)看到基于云的大數(shù)據(jù)生態(tài)系統(tǒng)在整個(gè)繼續(xù)迎來(lái)發(fā)展,，不僅僅局限于“早期采用者”。

許多公司想要讓自己可以擴(kuò)展的平臺(tái),，通過(guò)大力投資于最終僵化的數(shù)據(jù)中心是不可能做到這點(diǎn)的,。比如說(shuō)，人類基因組計(jì)劃一開(kāi)始是個(gè)GB級(jí)項(xiàng)目,，但是很快達(dá)到了TB級(jí)和PB級(jí),。一些領(lǐng)先的企業(yè)已經(jīng)開(kāi)始以雙模(bi-modal)方式來(lái)拆分工作負(fù)載，在云端運(yùn)行一些數(shù)據(jù)工作負(fù)載,。許多人預(yù)計(jì),，隨著這種解決方案在采用周期上深入發(fā)展，這個(gè)潮流會(huì)加快發(fā)展,。

現(xiàn)在大家很重視API,，以一種可重用的方式來(lái)發(fā)掘數(shù)據(jù)和功能，許多公司期望在云端和數(shù)據(jù)中心運(yùn)行其API,。本地API提供了一種無(wú)縫的方式來(lái)發(fā)掘傳統(tǒng)系統(tǒng),，并將它們與云應(yīng)用程序連接起來(lái),，這對(duì)于希望實(shí)現(xiàn)云優(yōu)先戰(zhàn)略的公司來(lái)說(shuō)至關(guān)重要,。

更多的公司會(huì)在云端運(yùn)行API，提供彈性,，以便更好地應(yīng)對(duì)需求高峰,，并建立高效的連接，從而讓它們能夠比競(jìng)爭(zhēng)對(duì)手更迅速地適應(yīng)和創(chuàng)新,。

Apache Spark在點(diǎn)亮大數(shù)據(jù),。流行的Apache Spark項(xiàng)目提供了Spark Streaming技術(shù)，通過(guò)主要采用一種在內(nèi)存中微批量處理的方法,，近實(shí)時(shí)地處理數(shù)據(jù)流,。它已從Hadoop生態(tài)系統(tǒng)的一部分,，變成許多企業(yè)青睞的一種大數(shù)據(jù)平臺(tái)。

Spark現(xiàn)在是最龐大的大數(shù)據(jù)開(kāi)源項(xiàng)目,，相比Hadoop它提供了顯著加快的數(shù)據(jù)處理速度;因此,，對(duì)于程序員來(lái)說(shuō)極其自然、極加精確,、極其方便,。它為并行執(zhí)行提供了一種高效的通用框架。

Spark Streaming是Spark的主要部分,，被用來(lái)借助處理器核心,，流式傳輸大塊的數(shù)據(jù)，為此將大數(shù)據(jù)分割成更小的數(shù)據(jù)包,，然后對(duì)其進(jìn)行轉(zhuǎn)換,，因而加快彈性分布式數(shù)據(jù)集(RDD)的創(chuàng)建。這在當(dāng)下非常有用,，如今數(shù)據(jù)分析通常需要一組協(xié)同運(yùn)行的機(jī)器的資源,。

然而值得一提的是，Spark旨在改進(jìn)而不是替換Hadoop架構(gòu),。為了從大數(shù)據(jù)獲得更大的價(jià)值,，許多公司考慮結(jié)合使用Hadoop和Spark，以獲得更好的分析和存儲(chǔ)功能,。

越來(lái)越復(fù)雜的大數(shù)據(jù)需求意味著,，創(chuàng)新的壓力仍然會(huì)很高。許多公司會(huì)開(kāi)始明白,，客戶的成功離不開(kāi)數(shù)據(jù)方面的工作,。不利用數(shù)據(jù)分析的公司會(huì)開(kāi)始歇業(yè)，而成功的企業(yè)認(rèn)識(shí)到發(fā)展的關(guān)鍵是數(shù)據(jù)精煉和預(yù)測(cè)分析,。