“一眨眼,一步望,,一擦肩”,,在麻花舞臺(tái)劇《那年的夢(mèng)想》當(dāng)中有這樣一首原創(chuàng)插曲。形容了一瞬回眸,,眨眼之間,,往事的一幕幕就凝結(jié)在了這個(gè)瞬間,。 這個(gè)如此感性的情景,如果用理性的邏輯來(lái)看,,就是阿里巴巴當(dāng)初做“Blink”的思維方式:一個(gè)眨眼的瞬間,,所有流動(dòng)的數(shù)據(jù)會(huì)凝結(jié)出一個(gè)結(jié)果。而千千萬(wàn)萬(wàn)個(gè)“Blink”所形成的結(jié)果,,就驅(qū)動(dòng)了整個(gè)阿里雙11巨大的數(shù)據(jù)應(yīng)用場(chǎng)景,。 眼下,這個(gè)充滿情懷的“Blink”,,作為Flink中最有場(chǎng)景化支撐的版本,,被阿里巴巴宣布開(kāi)源。 “Blink”就像是一見(jiàn)鐘情的瞬間 之所以用這么感性的開(kāi)場(chǎng)白引入,,是因?yàn)锽link在我眼里本身就像是情人之間的目光,。一見(jiàn)鐘情的含義,是那一個(gè)瞬間,,感覺(jué)到了愛(ài)的味道,,它不能有延時(shí),有了延時(shí)就意味著過(guò)度的思考,,那種瞬間萌發(fā)的情感必然大打折扣,。 這就是實(shí)時(shí)計(jì)算的魅力。 到底什么是實(shí)時(shí)計(jì)算,?這本身就是一種時(shí)間復(fù)雜性較低的計(jì)算,,它有別于傳統(tǒng)的計(jì)算方式,不會(huì)把數(shù)據(jù)按照一定的時(shí)間間隔保存下來(lái),,再進(jìn)行計(jì)算,,及時(shí)性更強(qiáng)。 舉個(gè)簡(jiǎn)單的例子,,很多電商遭遇到被薅羊毛的事件,。如果是傳統(tǒng)的計(jì)算模式,當(dāng)某個(gè)流程出現(xiàn)問(wèn)題后,,在當(dāng)下無(wú)法反饋數(shù)據(jù),,就容易被薅羊毛,苦果子只能自己咽下去,。再比如一些互聯(lián)網(wǎng)金融產(chǎn)品,,很多黑客盯著的就是在數(shù)據(jù)不對(duì)稱的時(shí)間差,如果采用的是實(shí)時(shí)計(jì)算,,將這種延遲降低到毫秒級(jí),,就會(huì)降低諸多風(fēng)險(xiǎn),。 從技術(shù)的維度,,其實(shí)有兩種實(shí)時(shí)計(jì)算的體系:Flink和Spark,。 Flink是一個(gè)高效、分布式,、基于Java實(shí)現(xiàn)的通用大數(shù)據(jù)分析引擎,,而Spark是一種快速、通用的計(jì)算集群系統(tǒng),。這兩者都支持實(shí)時(shí)計(jì)算,,且都可基于內(nèi)存計(jì)算。但Spark其實(shí)是偽實(shí)時(shí)的分片技術(shù),,只能按每秒分片技術(shù),,不能每條數(shù)據(jù)都實(shí)時(shí)技術(shù),而Flink則沒(méi)有這個(gè)局限,。 Spark的技術(shù)理念是基于批來(lái)模擬流的計(jì)算,,而Flink則完全相反,它采用的是基于流計(jì)算來(lái)模擬批計(jì)算,。阿里巴巴認(rèn)為,,用批來(lái)模擬流有一定的技術(shù)局限性,并且這個(gè)局限性可能很難突破,。所以決定用Flink做一個(gè)統(tǒng)一的,、通用的大數(shù)據(jù)引擎作為未來(lái)的選型,,這就是現(xiàn)在的Blink。 從市場(chǎng)發(fā)展的情況看,阿里巴巴和騰訊都已經(jīng)完全擁抱了Flink,;美團(tuán)、滴滴和字節(jié)跳動(dòng)(TMD)三家新興互聯(lián)網(wǎng)企業(yè)在實(shí)時(shí)計(jì)算場(chǎng)景也都已經(jīng)以Flink作為主流技術(shù)方向開(kāi)始建設(shè):美團(tuán)的實(shí)時(shí)計(jì)算集群也已經(jīng)突破4000臺(tái)規(guī)模,,字節(jié)跳動(dòng)的Flink生產(chǎn)集群規(guī)模更是已經(jīng)令人驚訝的已經(jīng)超過(guò)了1w臺(tái)規(guī)模,。 阿里幫助Flink挑戰(zhàn)技術(shù)巔峰 僅僅一個(gè)字母的差異,F(xiàn)link和Blink到底有什么區(qū)別,? 據(jù)了解,,F(xiàn)link早期起源于德國(guó)柏林工業(yè)大學(xué)的一個(gè)研究項(xiàng)目Stratosphere,并于2014年4月捐獻(xiàn)給Apache軟件基金會(huì),,同時(shí)重新定位品牌為Flink,,經(jīng)過(guò)8個(gè)月孵化期,在2014年12月成功從Apache軟件基金會(huì)畢業(yè),,成為Apache頂級(jí)項(xiàng)目,。 而阿里巴巴與Flink的結(jié)緣則源自2015年,當(dāng)時(shí)阿里是全球第一批使用Flink做大數(shù)據(jù)計(jì)算引擎研發(fā)的公司,,阿里確定了Flink方向是沒(méi)錯(cuò)的,,并把這個(gè)內(nèi)部版本取名blink,這就是英文眨眼的意思:”一眨眼,,所有東西都計(jì)算好了,!“ 圖右:DataArtisans CEO,、聯(lián)合創(chuàng)始人Kostas Tzoumas 據(jù)說(shuō)在2016年,阿里和DA的創(chuàng)始人Kostas和Stephan在當(dāng)年的Hadoop Sumit大會(huì)上做了唯二的兩場(chǎng)Flink演講,。Kostas主動(dòng)聯(lián)系了阿里,,希望能用團(tuán)隊(duì)研究的成果影響社區(qū)。當(dāng)時(shí)阿里的負(fù)責(zé)人深受感動(dòng),,“從那時(shí)候開(kāi)始就覺(jué)得,,我們不僅得把阿里內(nèi)部的業(yè)務(wù)做好,還要為Flink 社區(qū)做貢獻(xiàn),,把Flink 社區(qū)做好,。”就這樣,,阿里跟組織“接上了頭”,,成為了Flink社區(qū)的核心成員,也成為Flink后來(lái)欣欣向榮的關(guān)鍵,。 實(shí)際上,,F(xiàn)link是一個(gè)典型以來(lái)由社區(qū)貢獻(xiàn)的開(kāi)源項(xiàng)目。和Linux和OpenStack類似,,F(xiàn)link并不是一套可以直接應(yīng)用的組件,,它必須依賴社區(qū)成員代碼貢獻(xiàn),并進(jìn)行版本迭代,,去解決各種各樣的難題,。 比如最初的Flink因?yàn)槿狈Υ笠?guī)模計(jì)算的場(chǎng)景,只能應(yīng)用于小流量互聯(lián)網(wǎng)場(chǎng)景的數(shù)據(jù)處理,。直到阿里巴巴決定所有的業(yè)務(wù),,包括阿里巴巴所有子公司都采用了基于Flink搭建的實(shí)時(shí)計(jì)算平臺(tái)之后,才是Flink展露頭角的開(kāi)始,。 每年雙11,,阿里總部大屏幕上顯示實(shí)時(shí)成交數(shù)字,其背后就是依賴Flink技術(shù),。 這就是阿里巴巴在技術(shù)視角上的過(guò)人之處,,2015年時(shí)放棄了當(dāng)時(shí)相對(duì)主流的Spark,而將Flink引入團(tuán)隊(duì)研發(fā),,并直接引入到阿里全線業(yè)務(wù),,從而用場(chǎng)景優(yōu)勢(shì)拓展了Flink技術(shù)棧前進(jìn)空間。 客觀的說(shuō),,Blink的成功應(yīng)用,,很明顯就是當(dāng)下Flink的最高成就。 從具體的應(yīng)用情況來(lái)看,目前阿里巴巴集團(tuán)內(nèi)的核心業(yè)務(wù)已經(jīng)全部用上Blink,,并且可以實(shí)現(xiàn)毫秒級(jí)的延遲情況下,,每秒鐘處理上億次的消息或者事件。2018年雙11期間Blink實(shí)現(xiàn)了每秒處理17億次事件的能力,。除了技術(shù)大考雙11之外,ET城市大腦實(shí)時(shí)計(jì)算著杭州1300個(gè)信號(hào)燈路口,、4500路視頻,,保障著交通動(dòng)脈的通暢。 所以,,F(xiàn)link和Blink的關(guān)系就一目了然了,。Blink脫胎于Flink,而Flink因Blink拓展了應(yīng)用場(chǎng)景,,變得偉大,。 推動(dòng)開(kāi)源,進(jìn)而推動(dòng)實(shí)時(shí)計(jì)算 阿里云的業(yè)務(wù)都是技術(shù)導(dǎo)向的,,阿里云的技術(shù)路線都是從業(yè)務(wù)的視角出發(fā),,并不會(huì)預(yù)熱開(kāi)源或是閉源。 所以,,Blink的正式開(kāi)源本身也意味著阿里云對(duì)開(kāi)源世界的態(tài)度是積極的,。 以Flink為例,阿里巴巴最近幾年對(duì)Apache Flink社區(qū)進(jìn)行了持續(xù)大力的投入,,貢獻(xiàn)超過(guò)15萬(wàn)行代碼,,主導(dǎo)建立了Flink China中文社區(qū),加速Flink在國(guó)內(nèi)的生態(tài)建設(shè),。 可以確定的是,,在未來(lái)Blink并不會(huì)成為另外一個(gè)項(xiàng)目,會(huì)成為Flink的一部分,。阿里巴巴會(huì)和Data Artisans合作推動(dòng)Flink社區(qū)的發(fā)展,,改造后的Blink逐步回饋給Flink,這次開(kāi)源是為了更好更快地推動(dòng)Flink的發(fā)展,。 從全球客戶應(yīng)用的角度看,,Uber、Netflix等大企業(yè)都已經(jīng)用上了Flink,,還有更多等地區(qū)性公司,。還有一些獨(dú)特的地區(qū)性公司,例如全球第二大B2C(business to consumer,,企業(yè)對(duì)顧客電子商務(wù))在線零售商Otto,、歐洲領(lǐng)先的在線時(shí)尚平臺(tái)Zalando公司,以及法國(guó)第三大移動(dòng)通信運(yùn)營(yíng)商布衣格電信(BouyguesTelecom)都是Flink客戶名單當(dāng)中的典型。 客觀評(píng)價(jià),,Blink做到了源于開(kāi)源,,而反哺開(kāi)源。開(kāi)源并不是目的,,更不是結(jié)果,,而是推動(dòng)技術(shù)標(biāo)準(zhǔn)化和技術(shù)與場(chǎng)景結(jié)合的方式。所以,,阿里巴巴的目的是繼續(xù)推動(dòng)Flink社區(qū)的發(fā)展,,讓Flink在全世界大規(guī)模使用,并借此推動(dòng)實(shí)時(shí)計(jì)算的普及和落地應(yīng)用,。 文/鄭凱 科技正能量,,推動(dòng)新科技
|
|