Apache Flink是一個高效,、分布式,、基于Java實現(xiàn)的通用大數(shù)據(jù)分析引擎，它具有分布式 MapReduce一類平臺的高效性,、靈活性和擴(kuò)展性以及并行數(shù)據(jù)庫查詢優(yōu)化方案，它支持批量和基于流的數(shù)據(jù)分析,，且提供了基于Java和Scala的API,。從Apache官方博客中得知，F(xiàn)link已于近日升級成為Apache基金會的頂級項目,。Flink項目的副總裁對此評論到：

Flink能夠成為基金會的頂級項目,，自己感到非常高興。自己認(rèn)為社區(qū)的驅(qū)動將是Flink成長的最好保證,。Flink逐漸的成長以及眾多新人加入該社區(qū)真是一件大好事,。

從Flink官網(wǎng)得知,，其具有如下主要特征：

1. 快速

Flink利用基于內(nèi)存的數(shù)據(jù)流并將迭代處理算法深度集成到了系統(tǒng)的運(yùn)行時中,，這就使得系統(tǒng)能夠以極快的速度來處理數(shù)據(jù)密集型和迭代任務(wù),。

2. 可靠性和擴(kuò)展性

當(dāng)服務(wù)器內(nèi)存被耗盡時，F(xiàn)link也能夠很好的運(yùn)行,，這是因為Flink包含自己的內(nèi)存管理組件,、序列化框架和類型推理引擎。

3. 表現(xiàn)力

利用Java或者Scala語言能夠編寫出漂亮,、類型安全和可為核心的代碼,，并能夠在集群上運(yùn)行所寫程序。開發(fā)者可以在無需額外處理就使用Java和Scala數(shù)據(jù)類型

4. 易用性

在無需進(jìn)行任何配置的情況下,，F(xiàn)link內(nèi)置的優(yōu)化器就能夠以最高效的方式在各種環(huán)境中執(zhí)行程序,。此外，F(xiàn)link只需要三個命令就可以運(yùn)行在Hadoop的新MapReduce框架Yarn上,，

5. 完全兼容Hadoop

Flink支持所有的Hadoop所有的輸入/輸出格式和數(shù)據(jù)類型,，這就使得開發(fā)者無需做任何修改就能夠利用Flink運(yùn)行歷史遺留的MapReduce操作

Flink主要包括基于Java和Scala的用于批量和基于流數(shù)據(jù)分析的API、優(yōu)化器和具有自定義內(nèi)存管理功能的分布式運(yùn)行時等,，其主要架構(gòu)如下：

更多關(guān)于Flink的相關(guān)信息,，請讀者登錄其托管在GitHub的主頁和其官網(wǎng)查看。另外,，開源的大數(shù)據(jù)分析平臺除了Flink外,，還包括Apache推出Google Dremel的開源版本Apache Drill（2014年12月份升級成為Apache基金會的頂級項目）、來自NSA（美國國家安全局）Apache Nifi（2014年12月份貢獻(xiàn)給Apache基金會）,、來自Cloudera公司開發(fā)的實時分析系統(tǒng)Impala（受Google Dremel啟發(fā)）,、加州伯克利大學(xué)AMPLab開發(fā)的大數(shù)據(jù)分析系統(tǒng)Shark 、Facebook開源的分布式SQL查詢引擎Presto,、Hortonworks開源的實時且類SQL的即時查詢系統(tǒng)Stinger等等,。

感謝郭蕾對本文的審校。

給InfoQ中文站投稿或者參與內(nèi)容翻譯工作,，請郵件至editors@cn.,。也歡迎大家通過新浪微博（@InfoQ）或者騰訊微博（@InfoQ）關(guān)注我們，并與我們的編輯和其他讀者朋友交流,。