大數(shù)據(jù)時(shí)代,,數(shù)據(jù)成為與物質(zhì)資產(chǎn)和人力資源同樣重要的基礎(chǔ)生產(chǎn)要素。海量數(shù)據(jù)的空前集聚和計(jì)算力的指數(shù)級(jí)增長(zhǎng)釋放了深度學(xué)習(xí)算法的生產(chǎn)力,推動(dòng)人工智能應(yīng)用的大發(fā)展,。大數(shù)據(jù)技術(shù)和大數(shù)據(jù)產(chǎn)業(yè)的蓬勃發(fā)展為線上互聯(lián)網(wǎng)和線下實(shí)體經(jīng)濟(jì)帶來(lái)了新的增長(zhǎng)點(diǎn),。為鼓勵(lì)大數(shù)據(jù)領(lǐng)域的技術(shù)創(chuàng)新與應(yīng)用創(chuàng)新,國(guó)務(wù)院于2015年印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,,鼓勵(lì)加快經(jīng)濟(jì)社會(huì)各領(lǐng)域的大數(shù)據(jù)開(kāi)發(fā)與利用,,催生出更多的新產(chǎn)業(yè)、新業(yè)態(tài),、新模式,,推動(dòng)國(guó)家、行業(yè),、企業(yè)在數(shù)據(jù)的應(yīng)用需求和發(fā)展水平方面進(jìn)入新的階段,。在內(nèi)部技術(shù)條件成熟、外部政策因素推動(dòng)的激勵(lì)下,,中國(guó)涌現(xiàn)出一批從傳統(tǒng)業(yè)務(wù)擴(kuò)展并轉(zhuǎn)型到大數(shù)據(jù)業(yè)務(wù)的企業(yè),,通過(guò)對(duì)企業(yè)內(nèi)部生產(chǎn)數(shù)據(jù)、客戶,、用戶數(shù)據(jù)的分析,,幫助企業(yè)實(shí)現(xiàn)智能決策,提高運(yùn)行效率和風(fēng)險(xiǎn)管理能力,。新應(yīng)用新模式層出不窮,,大數(shù)據(jù)產(chǎn)業(yè)呈現(xiàn)出蓬勃發(fā)展的態(tài)勢(shì)。 毋庸置疑,,大數(shù)據(jù)已成為當(dāng)代科技前沿?zé)狳c(diǎn),,是重要的基礎(chǔ)性戰(zhàn)略資源,其發(fā)展為科學(xué)研究范式帶來(lái)了深刻改變,,為人類世界創(chuàng)造了更多可能,。以此為契機(jī),《科技導(dǎo)報(bào)》策劃出版“大數(shù)據(jù)戰(zhàn)略:從數(shù)據(jù)大國(guó)到數(shù)據(jù)強(qiáng)國(guó)”專題,,圍繞以清華大學(xué)大數(shù)據(jù)研究中心為代表的大數(shù)據(jù)創(chuàng)新研究平臺(tái),,總結(jié)在大數(shù)據(jù)基礎(chǔ)理論、核心技術(shù)與系統(tǒng),、關(guān)鍵領(lǐng)域應(yīng)用層面取得的研究成果和最新趨勢(shì),,探討大數(shù)據(jù)技術(shù)與各行業(yè)領(lǐng)域的結(jié)合方式,指出存在問(wèn)題和發(fā)展建議,。 本專題是對(duì)大數(shù)據(jù)技術(shù)研究與發(fā)展不同主題的介紹,,包括: (1)從理論基礎(chǔ)的角度,提出了一個(gè)大數(shù)據(jù)系統(tǒng)的代數(shù)模型和自頂向下的分析方法,,是對(duì)大數(shù)據(jù)系統(tǒng)復(fù)雜性和行為的高度抽象和全新認(rèn)知視角,; (2)提出了一組大數(shù)據(jù)系統(tǒng)數(shù)學(xué)性質(zhì)的定義,,探討了大數(shù)據(jù)的認(rèn)知基礎(chǔ)及其分類模型,給出了科學(xué),、工程和社交領(lǐng)域的大數(shù)據(jù)表示模式,; (3)概述了大數(shù)據(jù)產(chǎn)品的發(fā)展脈絡(luò),討論大數(shù)據(jù)產(chǎn)品研發(fā)的機(jī)遇和挑戰(zhàn),; (4)分析了大數(shù)據(jù)安全的內(nèi)涵,、關(guān)鍵技術(shù)及保障機(jī)制,指出了大數(shù)據(jù)產(chǎn)業(yè)面臨的安全挑戰(zhàn)與風(fēng)險(xiǎn),; (5)分析了數(shù)據(jù)可視化的通用需求和關(guān)鍵研究問(wèn)題,,給出了一個(gè)交互式數(shù)據(jù)可視化工具的設(shè)計(jì)方案; (6)介紹了Aache開(kāi)源社區(qū)中,,大數(shù)據(jù)管理系統(tǒng)的關(guān)鍵技術(shù)和系統(tǒng)優(yōu)缺點(diǎn),。 數(shù)據(jù)作為計(jì)算的處理對(duì)象,與軟件密不可分,。數(shù)據(jù)的獲取與清洗,、集成與分析、呈現(xiàn)與應(yīng)用等環(huán)節(jié)都離不開(kāi)軟件的支持,。在大數(shù)據(jù)時(shí)代,,系統(tǒng)與軟件工程面臨2個(gè)主要挑戰(zhàn):系統(tǒng)與軟件工程要針對(duì)大數(shù)據(jù)處理與分析需求,開(kāi)發(fā)支持大數(shù)據(jù)處理各個(gè)環(huán)節(jié)的軟件技術(shù)與系統(tǒng),; 系統(tǒng)與軟件工程實(shí)施過(guò)程中,,會(huì)涉及大量具有大數(shù)據(jù)特征的系統(tǒng)運(yùn)行過(guò)程數(shù)據(jù),要對(duì)這些多維數(shù)據(jù)進(jìn)行充分關(guān)聯(lián)挖掘和機(jī)器學(xué)習(xí),,發(fā)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的軟件開(kāi)發(fā)和運(yùn)行規(guī)律,形成基于大數(shù)據(jù)的軟件方法學(xué),。 大數(shù)據(jù)應(yīng)用系統(tǒng)覆蓋數(shù)據(jù)的獲取,、清洗、集成,、分析與可視化等大數(shù)據(jù)全生命周期的多個(gè)處理環(huán)節(jié),,而每個(gè)環(huán)節(jié)都存在著多款軟件工具,它們以開(kāi)源軟件構(gòu)件形式在大數(shù)據(jù)生態(tài)系統(tǒng)中“野蠻生長(zhǎng)”,,給面向領(lǐng)域的大數(shù)據(jù)應(yīng)用系統(tǒng)構(gòu)建,、運(yùn)行與優(yōu)化帶來(lái)了挑戰(zhàn)。全文詳見(jiàn)《大數(shù)據(jù)戰(zhàn)略:從數(shù)據(jù)大國(guó)到數(shù)據(jù)強(qiáng)國(guó)》,,論文發(fā)表在《科技導(dǎo)報(bào)》2020年第3期,。王建民,清華大學(xué)軟件學(xué)院,,大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室,,工業(yè)大數(shù)據(jù)系統(tǒng)與應(yīng)用北京市重點(diǎn)實(shí)驗(yàn)室,。
|