|
經(jīng)過二十多年的研究和開發(fā),，事件流處理（ESP）軟件平臺(tái)已不再局限于在小生境應(yīng)用或?qū)嶒?yàn)中使用,。它們已經(jīng)成為許多業(yè)務(wù)環(huán)境中實(shí)時(shí)分析的基本工具。  其動(dòng)機(jī)來自需要分析的流數(shù)據(jù)量激增,，特別是：
早在20世紀(jì)90年代,，學(xué)術(shù)界就開始構(gòu)建開發(fā)人員可以用來構(gòu)建和部署流分析應(yīng)用程序（當(dāng)時(shí)稱為復(fù)雜事件處理（CEP））的通用ESP平臺(tái),，但在2010年之前，只有少數(shù)商業(yè)產(chǎn)品可用,。它們主要用于金融交易所的高速交易系統(tǒng)和政府機(jī)構(gòu)的情報(bào)應(yīng)用,。 在過去的九年中，商業(yè)和開源ESP平臺(tái)的數(shù)量已經(jīng)從少數(shù)增長(zhǎng)到40多個(gè),。本文總結(jié)了該軟件的八個(gè)主要趨勢(shì),。 無處不在——幾乎所有主要軟件供應(yīng)商都提供一個(gè)或多個(gè)ESP產(chǎn)品（見下面的列表）。供應(yīng)商意識(shí)到流式數(shù)據(jù)只會(huì)越來越豐富,，越來越多的業(yè)務(wù)應(yīng)用程序需要能夠?qū)崟r(shí)或接近實(shí)時(shí)地處理這些數(shù)據(jù),。 物聯(lián)網(wǎng)——幾年前，我們預(yù)測(cè)物聯(lián)網(wǎng)將成為ESP的殺手級(jí)應(yīng)用（實(shí)際上是殺手級(jí)應(yīng)用,，因?yàn)槲锫?lián)網(wǎng)是數(shù)百種不同的應(yīng)用,，而不是一種）。事實(shí)證明就是這樣,。大多數(shù)物聯(lián)網(wǎng)應(yīng)用程序處理傳感器數(shù)據(jù),，傳感器數(shù)據(jù)作為實(shí)時(shí)事件流生成。我們看到的所有物聯(lián)網(wǎng)平臺(tái)套件都包括一個(gè)ESP平臺(tái)作為產(chǎn)品的一部分,。大多數(shù)物聯(lián)網(wǎng)平臺(tái)供應(yīng)商明智地選擇利用其通用ESP產(chǎn)品,，而不是僅僅為了嵌入物聯(lián)網(wǎng)平臺(tái)而編寫新的ESP平臺(tái)。 邊緣處理——許多物聯(lián)網(wǎng)應(yīng)用程序的默認(rèn)架構(gòu)是在邊緣或邊緣附近運(yùn)行流分析,，以接近事件源,。物聯(lián)網(wǎng)事件的來源包括傳感器、儀表,、數(shù)字控制系統(tǒng)（DCSs）,、監(jiān)控和數(shù)據(jù)訪問（SCADA）系統(tǒng)以及連接到DCSs或SCADA系統(tǒng)的歷史數(shù)據(jù)庫(kù)。在某些情況下,，ESP在網(wǎng)關(guān),、路由器、卡車,、汽車或火車上運(yùn)行,，甚至在終端設(shè)備中運(yùn)行,。在邊緣或靠近邊緣的地方運(yùn)行ESP有很多好的理由：對(duì)不斷變化的條件做出快速響應(yīng)的較低延遲；較少的網(wǎng)絡(luò)開銷,；以及更高的可用性（由于網(wǎng)絡(luò)關(guān)閉或云服務(wù)器關(guān)閉,，您負(fù)擔(dān)不起讓工廠、車輛或其他機(jī)器無法運(yùn)行）,。這就產(chǎn)生了層次結(jié)構(gòu),，其中初始流處理是在邊緣上完成的，然后處理和抽象事件的子集被轉(zhuǎn)發(fā)到云或數(shù)據(jù)中心,，在云或數(shù)據(jù)中心中完成另一層流處理,。 云ESP——幾乎所有ESP產(chǎn)品都可以在公共或云基礎(chǔ)設(shè)施即服務(wù)（IaaS）上運(yùn)行。越來越多的供應(yīng)商,，包括Amazon Web Services,、Google、IBM,、Microsoft,、Salesforce、SQLstream等,，為那些不想管理自己的云ESP服務(wù)的公司提供ESP即平臺(tái)即服務(wù)（PaaS）,。此外，幾乎所有具有嵌入式ESP平臺(tái)的物聯(lián)網(wǎng)套件都是有效的ESP PaaS提供商,。 并行處理——過去六年上市的許多ESP平臺(tái)可以稱為分布式流計(jì)算平臺(tái)（DSCP）,，因?yàn)樗鼈儗⒐ぷ髫?fù)載分散在多個(gè)服務(wù)器上。如果特定的應(yīng)用程序允許數(shù)據(jù)并行操作,，則傳入的數(shù)據(jù)將被分片并分發(fā)給多個(gè)工作者,，從而實(shí)現(xiàn)更高的吞吐量（每秒更多事件）。其他類型的ESP平臺(tái)也可以設(shè)置為跨多個(gè)節(jié)點(diǎn)分發(fā)工作,，但它們需要更多的編程來實(shí)現(xiàn)這一點(diǎn),。 高級(jí)分析——許多供應(yīng)商正在將機(jī)器學(xué)習(xí)（ML）或業(yè)務(wù)規(guī)則引擎集成到其ESP平臺(tái)的過程中。ML庫(kù)（如評(píng)分服務(wù)）可以嵌入到事件處理流中,。早期的ESP平臺(tái)通常僅限于用戶定義的功能（例如,，用Java或供應(yīng)商專有的事件處理語言編寫），而不支持現(xiàn)成的分析,。 開源——開源運(yùn)動(dòng)在過去五年中對(duì)流處理產(chǎn)生了重大影響,，正如它影響了其他軟件技術(shù)一樣,。開源有兩種截然不同的風(fēng)格： 免費(fèi)的,、開源的流處理框架主要來自GitHub/Apache，使開發(fā)人員能夠在不支付許可費(fèi)的情況下構(gòu)建和運(yùn)行應(yīng)用程序,。它們?nèi)狈ι虡I(yè)支持,，開發(fā)設(shè)施和管理工具有限,，與外部源和匯的連接很少。但是,，對(duì)于入門,、學(xué)習(xí)事件處理以及構(gòu)建小型或臨時(shí)應(yīng)用程序來說，它們是很好的,。在少數(shù)情況下,，高度熟練的開發(fā)團(tuán)隊(duì)已經(jīng)在這些產(chǎn)品上構(gòu)建了大型的、關(guān)鍵任務(wù)的應(yīng)用程序,。免費(fèi)開源產(chǎn)品及其主要貢獻(xiàn)者的示例包括：
混合“開放核心”產(chǎn)品使用上述開源產(chǎn)品,，并添加專有增值功能。這些都有商業(yè)支持,，因此它們吸引那些規(guī)避風(fēng)險(xiǎn),、愿意支付許可證、維護(hù)費(fèi)或訂閱費(fèi)的大企業(yè),。它們通常還具有更好的開發(fā)和管理工具,，以及到更多外部系統(tǒng)的連接器。很多都有實(shí)時(shí)的儀表盤,；有些有安全擴(kuò)展或更改數(shù)據(jù)捕獲（CDC）適配器,。這些產(chǎn)品的成本與完全專有的ESP產(chǎn)品一樣高，而且它們將應(yīng)用程序鎖定在與完全專有的產(chǎn)品幾乎相同的位置,。然而,，購(gòu)買者喜歡（部分）開源的光環(huán)，而且這些產(chǎn)品中的許多都具有一套很好的現(xiàn)代特性,。供應(yīng)商喜歡open core,，因?yàn)樗麄儾槐刈约洪_發(fā)整個(gè)產(chǎn)品，所以他們可以將資源集中在產(chǎn)品差異化的擴(kuò)展上,。示例包括：
其他供應(yīng)商,，包括Software AG（Apama）和WSO2（Stream Processor），也將其ESP產(chǎn)品作為開源提供,。 流數(shù)據(jù)集成（SDI）,，一種為SDI提供特殊功能的ESP（也稱為“實(shí)時(shí)ETL”）。它們用于實(shí)時(shí),、低延遲,、大容量接收流式事件數(shù)據(jù)，或用于將大量數(shù)據(jù)從一個(gè)數(shù)據(jù)庫(kù)或文件移動(dòng)到另一個(gè)數(shù)據(jù)庫(kù)或文件,。專注于SDI的產(chǎn)品為各種dbms,、文件系統(tǒng)和消息傳遞系統(tǒng)（如Kafka、kinisis,、Pulsar或其他）提供適配器,。請(qǐng)注意,，其他ESP產(chǎn)品（主要關(guān)注實(shí)時(shí)流分析）也經(jīng)常用于將事件數(shù)據(jù)放入數(shù)據(jù)庫(kù)或文件中（即，它們可以用于SDI,，即使它們可能不具備SDI專家的所有數(shù)據(jù)集成功能）,。相反，一些主要關(guān)注SDI的產(chǎn)品也能夠?qū)崟r(shí)流分析來驅(qū)動(dòng)儀表板,、發(fā)送警報(bào)或觸發(fā)自動(dòng)響應(yīng),。其中一些產(chǎn)品與普通ESP平臺(tái)并沒有太大區(qū)別。以SDI為重點(diǎn)的產(chǎn)品示例包括：
一些其他重要的ESP平臺(tái).這些平臺(tái)沒有在上面的開源或SDI部分中列出：
原文：https:///2019/06/09/eight-trends-in-event-stream-processing-may-2019/ 本文：http:///node/984 討論:請(qǐng)加入知識(shí)星球或者微信圈子【首席架構(gòu)師圈】  專欄 基于容器和微服務(wù)應(yīng)用的架構(gòu)設(shè)計(jì) |
|
|
