如今,,企業(yè)處理大數(shù)據(jù)的方式正在迅速發(fā)生改變,。短短幾年前,大數(shù)據(jù)只是一個(gè)熱門的流行語(yǔ),,大多數(shù)組織都在嘗試使用Hadoop和相關(guān)技術(shù),。如今,大數(shù)據(jù)技術(shù),,特別是大數(shù)據(jù)分析已經(jīng)演變成為大多數(shù)企業(yè)戰(zhàn)略的重要組成部分,,企業(yè)面臨著緊跟大數(shù)據(jù)快速發(fā)展的巨大壓力。 NewVantage公司開展的2018年合作伙伴的大數(shù)據(jù)高管調(diào)查表明,,發(fā)現(xiàn)大數(shù)據(jù)項(xiàng)目以及這些項(xiàng)目帶來(lái)的收益幾乎變得很普遍,。在受訪者中,有97.2%的高管表示他們的公司正在實(shí)施大數(shù)據(jù)或人工智能(AI)計(jì)劃,,98.6%的人表示他們的公司正試圖創(chuàng)建一個(gè)數(shù)據(jù)驅(qū)動(dòng)文化,,而2017年這個(gè)數(shù)字為85.5%。絕大多數(shù)的受訪者(73%)表示,,他們已經(jīng)通過大數(shù)據(jù)舉措獲得了可衡量的價(jià)值,。
由供應(yīng)商AtScale公司獨(dú)立進(jìn)行的2018年大數(shù)據(jù)成熟度調(diào)查發(fā)現(xiàn),66%的組織認(rèn)為大數(shù)據(jù)具有戰(zhàn)略性或改變游戲規(guī)則,,而只有17%的組織認(rèn)為該技術(shù)是實(shí)驗(yàn)性的,。另外,95%的受訪者表示,,計(jì)劃在未來(lái)三個(gè)月內(nèi)使用大數(shù)據(jù)開展更多的工作,。
但他們對(duì)大數(shù)據(jù)究竟會(huì)做些什么呢?
一系列不同的趨勢(shì)正在影響大數(shù)據(jù)舉措,但四個(gè)總體主題正在成為2018年影響大數(shù)據(jù)的關(guān)鍵因素:云計(jì)算,、機(jī)器學(xué)習(xí),、數(shù)據(jù)治理,以及對(duì)速度的需求,。
分析師認(rèn)為,大數(shù)據(jù)正在向云計(jì)算邁進(jìn),。調(diào)研機(jī)構(gòu)Forrester公司的Brian Hopkins表示:“通過云訂閱的全球大數(shù)據(jù)解決方案支出增長(zhǎng)速度將比內(nèi)部訂閱訂單快7.5倍,。此外,根據(jù)2016年和2017年的數(shù)據(jù)調(diào)查,公共云是大數(shù)據(jù)分析專業(yè)人員的首要技術(shù)優(yōu)先事項(xiàng),?!彼硎荆ㄟ^公共云服務(wù)提供的成本優(yōu)勢(shì)和創(chuàng)新將對(duì)大多數(shù)企業(yè)來(lái)說(shuō)無(wú)法抗拒,。
而一些調(diào)查似乎支持這些結(jié)論:
在AtScale公司的調(diào)查報(bào)告中,,59%的受訪者表示他們已經(jīng)在云中部署了大數(shù)據(jù),77%的受訪者預(yù)計(jì)其部分或全部大數(shù)據(jù)部署將在云中,。
Teradata公司云計(jì)算狀況分析報(bào)告發(fā)現(xiàn),,對(duì)基于云計(jì)算的大數(shù)據(jù)分析的需求更高。38%的受訪者表示,,云端是運(yùn)行分析的最佳場(chǎng)所,,69%的受訪者表示他們希望在2023年之前在云平臺(tái)中運(yùn)行所有分析。
他們?yōu)槭裁慈绱藷崆械剞D(zhuǎn)向云端?云計(jì)算分析的預(yù)期收益包括更快的部署(51%),,更高的安全性(46%),,更好的性能(44%),更快的數(shù)據(jù)洞察力(44%),,用戶更容易訪問(43%),,成本更低的維護(hù)(41%)。
組織將繼續(xù)將其數(shù)據(jù)存儲(chǔ)遷移到公共云提供商的云服務(wù)中,,并且當(dāng)數(shù)據(jù)已經(jīng)駐留在云中時(shí),,在云中執(zhí)行大數(shù)據(jù)分析的速度也會(huì)更快、更輕松,,成本更低,。
另外,許多云計(jì)算提供商提供人工智能和機(jī)器學(xué)習(xí)工具,,使云計(jì)算更具吸引力,。
機(jī)器學(xué)習(xí)是人工智能的一個(gè)重要組成部分,它在沒有被計(jì)算機(jī)明確編程的情況下學(xué)習(xí),,它與大數(shù)據(jù)分析有著內(nèi)在聯(lián)系,,因此這兩個(gè)術(shù)語(yǔ)有時(shí)會(huì)混合在一起。事實(shí)上,,今年NewVantage公司年度大數(shù)據(jù)調(diào)查的封面已經(jīng)重新設(shè)計(jì),,以顯示它包含大數(shù)據(jù)和人工智能。
調(diào)查報(bào)告的作者寫道:“大數(shù)據(jù)和人工智能項(xiàng)目幾乎難以區(qū)分,,特別是考慮到機(jī)器學(xué)習(xí)是處理大量快速移動(dòng)數(shù)據(jù)的最流行技術(shù)之一,。”
當(dāng)這項(xiàng)調(diào)查要求管理人員選擇哪種大數(shù)據(jù)技術(shù)會(huì)產(chǎn)生最大的顛覆性影響時(shí),,71.8%的受訪者選擇的最多選項(xiàng)是人工智能,。與2017年相比,這是一個(gè)顯著的增長(zhǎng),當(dāng)時(shí)只有44.3%的受訪者表示同樣的觀點(diǎn),。尤其值得注意的是,,人工智能遠(yuǎn)遠(yuǎn)領(lǐng)先于云計(jì)算(12.7%)和區(qū)塊鏈(7.0%)。
調(diào)查機(jī)構(gòu)Gartner公司研究副總裁John-David Lovelock的觀點(diǎn)與這些高管達(dá)成一致,?!坝捎谟?jì)算能力、數(shù)量,、速度和各種數(shù)據(jù)的進(jìn)步,,以及深度神經(jīng)網(wǎng)絡(luò)(DNNs)的發(fā)展,人工智能在未來(lái)10年內(nèi)承諾將成為最具顛覆性的技術(shù)類別,?!彼硎尽?/span>
Gartner公司最近進(jìn)行的預(yù)測(cè)表明,,“從人工智能(AI)獲得的全球商業(yè)價(jià)值預(yù)計(jì)在2018年將達(dá)到1.2萬(wàn)億美元,,比2017年增長(zhǎng)70%?!闭雇磥?lái),,Gartner公司分析師補(bǔ)充說(shuō):“預(yù)測(cè)2022年人工智能的商業(yè)價(jià)值將達(dá)到3.9萬(wàn)億美元?!?/span>
考慮到潛在的商業(yè)價(jià)值,,企業(yè)計(jì)劃大量投資于機(jī)器學(xué)習(xí)和相關(guān)技術(shù)并不令人驚訝。據(jù)調(diào)研機(jī)構(gòu)IDC公司稱,,“2018年全球認(rèn)知與人工智能(AI)系統(tǒng)支出將達(dá)到191億美元,,比2017年的支出增長(zhǎng)54.2%?!?/span>
但是,,雖然云計(jì)算和機(jī)器學(xué)習(xí)帶來(lái)的潛在收益正在推動(dòng)企業(yè)投資這些大數(shù)據(jù)技術(shù),但企業(yè)仍然面臨著與大數(shù)據(jù)相關(guān)的重大障礙,。
其中最重要的一點(diǎn)是如何確保所有數(shù)據(jù)的準(zhǔn)確性,、可用性、安全性和合規(guī)性,。
當(dāng)AtScale公司的調(diào)查要求受訪者指出他們面臨的與大數(shù)據(jù)相關(guān)的最大挑戰(zhàn)時(shí),,治理是排在第二位,僅落后于技能組合,,而這是每年調(diào)查中所提出的頭號(hào)挑戰(zhàn),。早在2016年,治理只位列挑戰(zhàn)清單的底部,,因此其升至第二位,,其變化尤其顯著,。組織現(xiàn)在更關(guān)心數(shù)據(jù)治理,而不是性能,、安全或數(shù)據(jù)管理。
重新引起人們關(guān)注的部分原因可能是最近發(fā)生的Facebook公司和英國(guó)劍橋分析的數(shù)據(jù)泄露丑聞,。這個(gè)違規(guī)事件非常清楚地表明,,潛在的公共關(guān)系噩夢(mèng)可能會(huì)由于失去數(shù)據(jù)的正常發(fā)展軌跡而發(fā)生,并且無(wú)法正確保護(hù)用戶的隱私,。
歐盟頒布的通用數(shù)據(jù)保護(hù)條例(GDPR)是今年5月生效的另一大變革力量,。它要求所有擁有歐盟公民的數(shù)據(jù)的組織都能夠滿足某些要求,例如違規(guī)通知,、訪問權(quán)限,、被遺忘權(quán)利、數(shù)據(jù)可移植性,、設(shè)計(jì)隱私,,以及任命數(shù)據(jù)保護(hù)人員。
監(jiān)管變革給組織帶來(lái)了越來(lái)越大的壓力,,以確保他們知道自己擁有哪些數(shù)據(jù)以及駐留在哪里,,并確保正確地保護(hù)這些數(shù)據(jù)。這是一項(xiàng)艱巨的任務(wù),,需要很多企業(yè)加緊制定,,并重新思考他們的大數(shù)據(jù)戰(zhàn)略。
與此同時(shí),,他們感到需要放緩處理數(shù)據(jù)治理問題的速度,,許多企業(yè)也有對(duì)更快速的大數(shù)據(jù)分析的需求。
在NewVantage公司的調(diào)查中,,47.8%的管理人員表示,,他們主要使用大數(shù)據(jù)的原因是近實(shí)時(shí)的、日常儀表板和操作報(bào)告,,或者是實(shí)時(shí)互動(dòng),,或者是面向客戶的流媒體,或者是關(guān)鍵任務(wù)應(yīng)用,。這是一個(gè)重要的發(fā)展,,因?yàn)閿?shù)據(jù)分析的傳統(tǒng)用途是每天、每周或每月執(zhí)行批量報(bào)告,。
同樣,,Syncsort公司的調(diào)查發(fā)現(xiàn),60.4%的受訪者對(duì)實(shí)時(shí)分析感興趣,。
為了滿足實(shí)時(shí)或接近實(shí)時(shí)性能的需求,,企業(yè)越來(lái)越傾向于使用內(nèi)存技術(shù),。由于處理內(nèi)存(RAM)中的數(shù)據(jù)比訪問存儲(chǔ)在硬盤驅(qū)動(dòng)器或固態(tài)硬盤驅(qū)動(dòng)器上的數(shù)據(jù)快得多,因此內(nèi)存技術(shù)可以顯著提高速度,。
事實(shí)上,,SAP公司宣稱其專有的HANA技術(shù)已幫助一些公司加快業(yè)務(wù)流程的速度達(dá)到原來(lái)的10000倍。盡管大多數(shù)公司沒有體驗(yàn)到這種性能提升,,但SAP公司并不是唯一一家在內(nèi)存技術(shù)方面做出巨大貢獻(xiàn)的公司,。Apache Spark是一款運(yùn)行在內(nèi)存中的開源大數(shù)據(jù)分析引擎,它宣稱可以運(yùn)行比標(biāo)準(zhǔn)Hadoop引擎快100倍的工作負(fù)載,。
企業(yè)似乎注意到這些性能改進(jìn),。供應(yīng)商Qubole報(bào)告說(shuō),2017年至2018年期間Apache Spark在計(jì)算時(shí)間方面的用量增長(zhǎng)了298%,。當(dāng)人們查看在Apache Spark上運(yùn)行的命令數(shù)量時(shí),,其增長(zhǎng)更加令人印象深刻,2017年至2018年間在Spark上運(yùn)行的命令總數(shù)提高了439%,。
在某些方面,,對(duì)速度的這種需求也推動(dòng)了其他三大數(shù)據(jù)宏觀趨勢(shì)的發(fā)展。其部分原因是組織將大數(shù)據(jù)遷移到云中,,因?yàn)樗麄兿M@得性能提升,。他們至少在一定程度上投資于機(jī)器學(xué)習(xí)和人工智能,因?yàn)樗麄兿M@得更快,、更好的見解,。他們正在經(jīng)歷與數(shù)據(jù)治理和合規(guī)性相關(guān)的挑戰(zhàn),至少部分原因在于他們?nèi)绱丝焖俚亟邮艽髷?shù)據(jù)技術(shù),,而沒有首先解決所有數(shù)據(jù)質(zhì)量,、隱私、安全和合規(guī)性問題,。
在不久的將來(lái),,隨著企業(yè)尋找新的方式來(lái)利用大數(shù)據(jù)顛覆他們的行業(yè)。并獲得競(jìng)爭(zhēng)優(yōu)勢(shì),,預(yù)計(jì)所有這四種趨勢(shì)將會(huì)持續(xù)并加快發(fā)展,。 |
|