云環(huán)境下大規(guī)模分布式計(jì)算數(shù)據(jù)感知的調(diào)度系統(tǒng)

劉汪根1, 鄭淮城1, 榮國(guó)平2

1 星環(huán)信息科技（上海）有限公司

2 南京大學(xué)軟件學(xué)院

摘要：介紹了新的調(diào)度系統(tǒng),，包括資源調(diào)度,、應(yīng)用編排、配置標(biāo)簽中心,、云網(wǎng)絡(luò)和云存儲(chǔ)服務(wù)等子系統(tǒng),。系統(tǒng)通過(guò)數(shù)據(jù)拓?fù)涓兄芰ΡＷC了計(jì)算和數(shù)據(jù)的局部性,，節(jié)約網(wǎng)絡(luò)I/O開(kāi)銷,；通過(guò)優(yōu)化點(diǎn)對(duì)點(diǎn)大數(shù)據(jù)量讀取的資源調(diào)度,，解決網(wǎng)絡(luò)風(fēng)暴造成的影響；通過(guò)網(wǎng)絡(luò)和磁盤隔離技術(shù)以及可搶占的方式來(lái)保證服務(wù)等級(jí)協(xié)議,。

隨著云計(jì)算,、大數(shù)據(jù)與人工智能（artificial intelligence，AI）技術(shù)的發(fā)展以及行業(yè)對(duì)這3種技術(shù)的綜合應(yīng)用需求,，目前國(guó)內(nèi)外出現(xiàn)了大數(shù)據(jù),、云計(jì)算,、人工智能三者相互融合的技術(shù)發(fā)展趨勢(shì),。中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì)在2019年大數(shù)據(jù)發(fā)展趨勢(shì)調(diào)查報(bào)告中指出：人工智能,、大數(shù)據(jù)、云計(jì)算將高度融合為一體化系統(tǒng),。

2006年Hadoop項(xiàng)目的誕生標(biāo)志著大數(shù)據(jù)技術(shù)時(shí)代的開(kāi)始,，而亞馬遜云計(jì)算服務(wù)（Amazon web services，AWS）商用則標(biāo)志著云計(jì)算正式邁出了改變信息時(shí)代的步伐,。自此之后,，大數(shù)據(jù)和云計(jì)算成為最近十幾年十分火熱的技術(shù)，學(xué)術(shù)界和工業(yè)界都大力投入相關(guān)技術(shù)研發(fā)和落地應(yīng)用中,，并且創(chuàng)造了幾個(gè)學(xué)術(shù)界和工業(yè)界協(xié)作的經(jīng)典之作,。如2012年加州大學(xué)伯克利分校推出的新型計(jì)算引擎Spark技術(shù)迅速被工業(yè)界接受，并成為新一代的標(biāo)準(zhǔn)計(jì)算引擎,。在云計(jì)算領(lǐng)域,，更多的是企業(yè)級(jí)應(yīng)用推動(dòng)了技術(shù)的發(fā)展，如2014年開(kāi)始興起的容器技術(shù)和編排系統(tǒng),，最終推進(jìn)了新一代原生云平臺(tái)的快速發(fā)展,，Docker和Kubernetes技術(shù)則成為新一代原生云的標(biāo)準(zhǔn)。

基礎(chǔ)軟件的研發(fā)不是簡(jiǎn)單的功能堆積,，必須經(jīng)過(guò)詳細(xì)的架構(gòu)設(shè)計(jì)和功能驗(yàn)證,。大數(shù)據(jù)和AI計(jì)算都是典型的分布式計(jì)算模型，是基于有向無(wú)環(huán)圖（directed acyclic graph,，DAG）或者大規(guī)模并行處理（massive parallel programming,， MPP）迭代的計(jì)算模式，意味著計(jì)算任務(wù)都是運(yùn)行時(shí)才能生成的,，因而難以進(jìn)行預(yù)先調(diào)度,，而分布式的特點(diǎn)又要求調(diào)度系統(tǒng)有更高的靈活性和自適應(yīng)性。目前工業(yè)界在努力嘗試將大數(shù)據(jù)平臺(tái)和AI技術(shù)部署在原生云上,，以做到更大的彈性和可擴(kuò)展性,。但是，目前全球范圍內(nèi)在這個(gè)領(lǐng)域取得的突破性成就還比較少,。本文將介紹核心創(chuàng)新：云平臺(tái)中的核心調(diào)度系統(tǒng)如何在原生云平臺(tái)上管理和調(diào)度大數(shù)據(jù)和AI應(yīng)用,。

云原生（cloud native）是指在應(yīng)用開(kāi)發(fā)時(shí)，以云作為其生產(chǎn)部署方式,，從而充分利用云的彈性,、可擴(kuò)展、自愈等核心優(yōu)勢(shì),。區(qū)別于傳統(tǒng)的臃腫的單體應(yīng)用開(kāi)發(fā)模式,，云原生應(yīng)用因?yàn)槠溆行У膮f(xié)同開(kāi)發(fā),、測(cè)試和運(yùn)維，極大地提高了軟件開(kāi)發(fā)效率和質(zhì)量,，支持產(chǎn)品快速地上線和迭代,，已經(jīng)成為當(dāng)前主流的應(yīng)用開(kāi)發(fā)模式。

通常稱能夠有效支撐云原生應(yīng)用的平臺(tái)為原生云平臺(tái),，其主要特點(diǎn)是容器化的封裝,、自動(dòng)化的管理以及面向微服務(wù)的體系。Docker直接使用Linux Cgroup等技術(shù)提供邏輯上的虛擬化,，因其系統(tǒng)開(kāi)銷小,、啟動(dòng)快、隔離性較好,、方便應(yīng)用封裝等特點(diǎn),，Docker已經(jīng)成為首選的應(yīng)用容器技術(shù),。此外Docker技術(shù)支持跨平臺(tái)部署,，能夠?qū)崿F(xiàn)“一次編譯，多次部署”,?；谔摂M機(jī)的技術(shù)對(duì)高負(fù)載的應(yīng)用可能有30%的性能損耗，而Docker技術(shù)沒(méi)有硬件虛擬化,，跟裸機(jī)相比幾乎沒(méi)有性能損耗,，因此也可以用于部署類似大數(shù)據(jù)和AI應(yīng)用的計(jì)算或者I/O資源密集型的應(yīng)用。

一個(gè)大的云平臺(tái)可能需要高效穩(wěn)定地運(yùn)行數(shù)萬(wàn)個(gè)容器,，這就需要非常強(qiáng)大的服務(wù)編排系統(tǒng),。為了滿足日益增多的服務(wù)和任務(wù)的資源需求，Borg,、Mesos,、Omega等一系列的集群資源調(diào)度系統(tǒng)相繼出現(xiàn)。其中,，Borg是集中式調(diào)度器的代表,，其作為集群調(diào)度器的鼻祖，在Google公司有超過(guò)10年的生產(chǎn)經(jīng)驗(yàn),，其上運(yùn)行了GFS,、BigTable、Gmail,、MapReduce等各種類型的任務(wù),。Mesos是雙層調(diào)度器的代表，可以讓多個(gè)框架公平地共享集群資源,。Omega則是共享狀態(tài)調(diào)度器的代表,，它的特點(diǎn)是支持使用不同的調(diào)度器調(diào)度不同類型的任務(wù),，解決資源請(qǐng)求沖突的問(wèn)題。

Kubernetes是Google開(kāi)源用來(lái)管理Docker集群的項(xiàng)目,，繼承了Borg的優(yōu)點(diǎn),，實(shí)現(xiàn)了編排、部署,、運(yùn)行以及管理容器應(yīng)用的目的,，Kubernetes的總體架構(gòu)如圖1所示。Kubernetes提供資源池化管理,，可以將整個(gè)集群內(nèi)的中央處理器（center processing unit,，CPU）、圖形處理器（graphic processing unit,，GPU）,、內(nèi)存、網(wǎng)絡(luò)和硬盤等資源抽象為一個(gè)資源池,，可以根據(jù)應(yīng)用的資源需求,、資源池中的實(shí)時(shí)資源情況進(jìn)行靈活調(diào)度；Kubernetes包含一個(gè)統(tǒng)一的調(diào)度框架,，最多可以管理數(shù)千個(gè)服務(wù)器和數(shù)萬(wàn)個(gè)容器,，同時(shí)提供插件化的接口，讓第三方來(lái)定制和擴(kuò)展新的調(diào)度系統(tǒng),；此外Kubernetes支持通過(guò)ConfigMap等方式動(dòng)態(tài)地調(diào)整應(yīng)用配置,，從而具備動(dòng)態(tài)調(diào)配的基礎(chǔ)能力。

本文基于這些基礎(chǔ)技術(shù)開(kāi)發(fā)了支持復(fù)雜應(yīng)用平臺(tái)的調(diào)度系統(tǒng),。

分布式計(jì)算在復(fù)雜的工業(yè)應(yīng)用需求下快速迭代和發(fā)展,，從離線處理的MapReduce計(jì)算模型開(kāi)始，逐漸發(fā)展出了以Spark為代表的在線計(jì)算（Spark,、Tez,、Druid等）以及實(shí)時(shí)計(jì)算模型（Flink、Spark Streaming等）,。新的分布式計(jì)算模型開(kāi)拓了新的應(yīng)用領(lǐng)域,，同時(shí)也對(duì)大規(guī)模系統(tǒng)的管理、調(diào)度和運(yùn)維提出了較大的挑戰(zhàn),。

MapReduce框架是Hadoop技術(shù)的核心,，它的出現(xiàn)在計(jì)算模式歷史上是一個(gè)重大事件，在此之前行業(yè)內(nèi)主要通過(guò)MPP的方式增強(qiáng)系統(tǒng)的計(jì)算能力,，一般是利用復(fù)雜而昂貴的硬件加速計(jì)算,，如高性能計(jì)算機(jī)和數(shù)據(jù)庫(kù)一體機(jī)等。而MapReduce是通過(guò)分布式計(jì)算來(lái)提高計(jì)算速度的，并且只需要廉價(jià)的硬件就可以實(shí)現(xiàn)可擴(kuò)展的,、高并行的計(jì)算能力,。

隨著大量的企業(yè)開(kāi)始使用Hadoop構(gòu)建企業(yè)應(yīng)用，MapReduce性能慢的問(wèn)題逐漸成為研究瓶頸,，MapReduce只能用于離線數(shù)據(jù)處理,，而不能用于對(duì)性能要求高的計(jì)算場(chǎng)景，如在線交互式分析,、實(shí)時(shí)分析等,。在此背景下，Spark計(jì)算模型誕生了,。雖然本質(zhì)上Spark仍然是一個(gè)MapReduce計(jì)算模式，但是幾個(gè)核心的創(chuàng)新使得Spark的性能在迭代計(jì)算應(yīng)用中比MapReduce快一個(gè)數(shù)量級(jí)以上：第一,，數(shù)據(jù)盡量通過(guò)內(nèi)存進(jìn)行交互,，相比基于磁盤的交換，能夠避免I/O帶來(lái)的性能問(wèn)題,；第二,，采用延時(shí)評(píng)估（lazy evaluation）的計(jì)算模型和基于DAG的執(zhí)行模式,，可以生成更好的執(zhí)行計(jì)劃。此外,，通過(guò)有效的檢查點(diǎn)（check pointing）機(jī)制可以實(shí)現(xiàn)良好的容錯(cuò)機(jī)制，避免內(nèi)存失效帶來(lái)的計(jì)算問(wèn)題,。

TensorFlow是Google公司開(kāi)發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng),，它可以將復(fù)雜的數(shù)據(jù)結(jié)構(gòu)傳輸至人工智能神經(jīng)網(wǎng)絡(luò)中進(jìn)行分析和處理,，可用于語(yǔ)音識(shí)別、圖像識(shí)別等多項(xiàng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)任務(wù),，并且完全開(kāi)源,，目前也是開(kāi)源社區(qū)活躍的開(kāi)發(fā)項(xiàng)目之一。TensorFlow支持異構(gòu)設(shè)備的分布式計(jì)算,，可以在各個(gè)平臺(tái)上自動(dòng)運(yùn)行模型,，支持在手機(jī)、單個(gè)CPU/GPU,、大型數(shù)據(jù)中心服務(wù)器等各種設(shè)備上運(yùn)行,。

原生云平臺(tái)的一個(gè)主要特點(diǎn)是面向微服務(wù)設(shè)計(jì)，使用容器的方式編排普通的Web應(yīng)用或者微服務(wù),。但是大數(shù)據(jù)或者AI計(jì)算平臺(tái)本身并沒(méi)有采用微服務(wù)設(shè)計(jì)，各個(gè)系統(tǒng)都采用自身的分布式系統(tǒng)設(shè)計(jì)完成服務(wù)的管理和調(diào)度,，并且執(zhí)行時(shí)服務(wù)會(huì)一直變化,。以MapReduce為例,，每個(gè)MR程序啟動(dòng)Map或者Reduce工作任務(wù)的數(shù)量是由應(yīng)用本身來(lái)指定的（通過(guò)參數(shù)set mapreduce.reduce.tasks=N），調(diào)度器通過(guò)解析相關(guān)的參數(shù)來(lái)生成給定數(shù)量的工作任務(wù),，并在相關(guān)的任務(wù)完成后立即銷毀,。

大數(shù)據(jù)系統(tǒng)內(nèi)的服務(wù)有自己的服務(wù)重啟或者遷移邏輯,，并且其配置或參數(shù)可能會(huì)隨著應(yīng)用或用戶的輸入而變化,，而很多組件之間有很長(zhǎng)的依賴鏈,，如何及時(shí)地將某個(gè)參數(shù)的變化推送到所有的下游服務(wù)中,，是調(diào)度系統(tǒng)的一個(gè)重要挑戰(zhàn)。

對(duì)于沒(méi)有數(shù)據(jù)存儲(chǔ)的無(wú)狀態(tài)服務(wù),，容器有多種編排方式進(jìn)行編排和管理,。但是對(duì)于有數(shù)據(jù)狀態(tài)的服務(wù),，如數(shù)據(jù)庫(kù)（MySQL）或者分布式存儲(chǔ)服務(wù)（Hadoop distributed file system，HDFS）,，由于容器內(nèi)的數(shù)據(jù)會(huì)隨著容器的銷毀而銷毀,，因此采用傳統(tǒng)的編排方式無(wú)法保證數(shù)據(jù)狀態(tài)的一致性和數(shù)據(jù)持久化,。

大數(shù)據(jù)和AI計(jì)算都涉及大量的數(shù)據(jù)和復(fù)雜的迭代運(yùn)算,，為了達(dá)到更好的性能,，MapReduce,、Spark和TensorFlow在架構(gòu)中都特別注重“計(jì)算貼近數(shù)據(jù)”設(shè)計(jì),，一般會(huì)根據(jù)數(shù)據(jù)的位置選擇啟動(dòng)相應(yīng)的計(jì)算服務(wù),，盡量讓計(jì)算任務(wù)和數(shù)據(jù)節(jié)點(diǎn)在同一個(gè)節(jié)點(diǎn)上,，這樣就可以避免網(wǎng)絡(luò)帶寬帶來(lái)的性能損失。而在容器模式下,，不同的服務(wù)封裝在不同的容器內(nèi),，并且使用容器自身的網(wǎng)絡(luò)；而容器網(wǎng)絡(luò)一般采用重疊網(wǎng)絡(luò)（overlay network）模式,，因此容器內(nèi)的應(yīng)用并不能感知調(diào)度容器的機(jī)器的物理拓?fù)洌虼艘簿蜔o(wú)法確定從哪個(gè)節(jié)點(diǎn)調(diào)度計(jì)算任務(wù)所在的容器,。為此,，重新設(shè)計(jì)了云網(wǎng)絡(luò)服務(wù),，以有效解決相應(yīng)的調(diào)度信息缺失問(wèn)題。

另外,，大數(shù)據(jù)或者AI應(yīng)用都是資源密集型應(yīng)用,，在運(yùn)行時(shí)會(huì)對(duì)CPU,、GPU,、內(nèi)存、磁盤,、網(wǎng)絡(luò)等資源進(jìn)行動(dòng)態(tài)申請(qǐng)和釋放,。如某個(gè)應(yīng)用可能會(huì)根據(jù)用戶的輸入生成一個(gè)Spark的機(jī)器學(xué)習(xí)任務(wù),，在大數(shù)據(jù)平臺(tái)上生成若干個(gè)執(zhí)行任務(wù)（executor），并申請(qǐng)一定的CPU和內(nèi)存資源,。及時(shí)地響應(yīng)這些短生命周期服務(wù)的資源需求,，是當(dāng)前各種原生云的調(diào)度系統(tǒng)無(wú)法有效支持的功能,。

為了有效解決各種實(shí)際技術(shù)難題,，重新設(shè)計(jì)云平臺(tái)的調(diào)度系統(tǒng)成為必須考慮和完成的工作,。相較于原生的Kubernetes調(diào)度系統(tǒng)，云平臺(tái)的調(diào)度系統(tǒng)需要從以下方面重新設(shè)計(jì),。

（1）基于資源需求的調(diào)度能力

整個(gè)云平臺(tái)的資源從邏輯上被抽象為一個(gè)大的資源池,，按照CPU,、GPU,、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)進(jìn)行分類管理,。一個(gè)容器在被調(diào)度的時(shí)候,，通過(guò)編排文件或者配置來(lái)描述相應(yīng)的資源需求,。調(diào)度器需要根據(jù)資源池的實(shí)際資源情況和各個(gè)主機(jī)的物理資源情況,，在毫秒級(jí)時(shí)延內(nèi)找到合適的物理節(jié)點(diǎn)來(lái)調(diào)度當(dāng)前容器,。在超大規(guī)模的云集群里,，調(diào)度器的效率,、性能和負(fù)載均衡是重要的技術(shù)指標(biāo)，最終會(huì)影響云平臺(tái)的資源使用率,。

（2）支持本地存儲(chǔ)并基于存儲(chǔ)感知的容器調(diào)度

為了有效支持有狀態(tài)的服務(wù),，如數(shù)據(jù)庫(kù)服務(wù)（MySQL）,、分布式存儲(chǔ)服務(wù),，本文設(shè)計(jì)了基于本地存儲(chǔ)的存儲(chǔ)服務(wù)。云儲(chǔ)存將所有的存儲(chǔ)資源抽象為一個(gè)存儲(chǔ)池,，每個(gè)節(jié)點(diǎn)的本地存儲(chǔ)抽象為若干持久化存儲(chǔ)池（persistence volume group）,，而單個(gè)可以被容器申請(qǐng)的存儲(chǔ)資源定義為存儲(chǔ)卷（persistence volume，PV）,。每個(gè)PV只能被一個(gè)容器掛載，可以是任意大小,，支持硬盤驅(qū)動(dòng)器（hard disk drive,，HDD）或固態(tài)硬盤（solid state drive,，SSD）,，也支持HDD與SSD組成的分層式存儲(chǔ)。有狀態(tài)的容器服務(wù)在啟動(dòng)時(shí)會(huì)申請(qǐng)需要的PV資源（如大小,、IOPS要求,、SSD或HDD），調(diào)度器需要在毫秒內(nèi)從平臺(tái)內(nèi)找到合適的機(jī)器,，從而將容器調(diào)度起來(lái),；如果容器因?yàn)楦鞣N原因不能正常工作,，調(diào)度器能夠檢測(cè)到不健康的狀態(tài)，同時(shí)根據(jù)數(shù)據(jù)的物理拓?fù)淝闆r，選擇合適的機(jī)器重啟相應(yīng)的容器,。

（3）網(wǎng)絡(luò)物理拓?fù)涞母兄c實(shí)時(shí)調(diào)度能力

為了支持靈活彈性的調(diào)度，一般情況下云原生平臺(tái)為容器設(shè)計(jì)專門的網(wǎng)絡(luò)空間,，并且一般與主機(jī)網(wǎng)絡(luò)保持透明,。通常一個(gè)服務(wù)器節(jié)點(diǎn)上會(huì)有多個(gè)容器服務(wù)，因此主機(jī)IP的數(shù)量遠(yuǎn)小于容器IP的數(shù)量,。在MapReduce、Spark和TensorFlow的設(shè)計(jì)中,，在啟動(dòng)計(jì)算任務(wù)時(shí),，會(huì)根據(jù)數(shù)據(jù)存儲(chǔ)的物理拓?fù)錄Q定最終服務(wù)啟動(dòng)在哪個(gè)服務(wù)器上。但是在容器平臺(tái)上,，所有的任務(wù)都只能感知容器網(wǎng)絡(luò),，而不能感知物理機(jī)器的IP，無(wú)法了解數(shù)據(jù)分布的物理拓?fù)?，因此也就無(wú)法保證計(jì)算和數(shù)據(jù)的局部性。為了解決這個(gè)問(wèn)題,，在調(diào)度系統(tǒng)內(nèi)增加了網(wǎng)絡(luò)物理拓?fù)淠K,，實(shí)時(shí)地維護(hù)物理IP和容器IP的映射關(guān)系表。當(dāng)有狀態(tài)服務(wù)在申請(qǐng)調(diào)度的時(shí)候,，可以通過(guò)IP映射表找到可用于最終調(diào)度的物理機(jī)器,。

（4）動(dòng)態(tài)標(biāo)簽?zāi)芰εc基于標(biāo)簽的調(diào)度能力

復(fù)雜的應(yīng)用系統(tǒng)對(duì)調(diào)度系統(tǒng)有更多細(xì)節(jié)的要求,，如多租戶業(yè)務(wù)系統(tǒng)往往要求一個(gè)租戶的所有服務(wù)盡量調(diào)度在同一批物理機(jī)器中；支持高可用的服務(wù)往往要求調(diào)度系統(tǒng)有反親和性（anti-affinity）要求,，即將一個(gè)服務(wù)的多個(gè)實(shí)例調(diào)度到不同的物理機(jī)器上，這樣就不會(huì)發(fā)生一個(gè)物理機(jī)器宕機(jī)后影響多個(gè)高可用實(shí)例,，進(jìn)而導(dǎo)致服務(wù)不可用的情況,。因此在調(diào)度系統(tǒng)中增加了動(dòng)態(tài)標(biāo)簽?zāi)芰突跇?biāo)簽的調(diào)度能力,，調(diào)度模塊可以根據(jù)運(yùn)行時(shí)的數(shù)據(jù)給物理機(jī)器和容器應(yīng)用動(dòng)態(tài)增加或刪除標(biāo)簽，而調(diào)度系統(tǒng)根據(jù)標(biāo)簽的匹配度選擇更合適的調(diào)度策略,。

（5）應(yīng)用依賴運(yùn)行參數(shù)的感知以及基于參數(shù)的調(diào)度能力

分布式應(yīng)用在微服務(wù)拆分后,，每個(gè)服務(wù)都有比較復(fù)雜的依賴服務(wù)鏈以及影響的服務(wù)鏈，而每個(gè)微服務(wù)在運(yùn)行時(shí)都可能發(fā)生運(yùn)行參數(shù)變化、服務(wù)啟停,、重新調(diào)度等操作,，這些變化不僅影響當(dāng)前的微服務(wù),，還可能影響所有的依賴鏈的服務(wù),。因此調(diào)度系統(tǒng)中增加了應(yīng)用配置感知模塊，通過(guò)與全局的配置中心的數(shù)據(jù)交互,，調(diào)度系統(tǒng)能夠?qū)崟r(shí)地感知一個(gè)應(yīng)用變化的事件的所有影響情況，并根據(jù)多個(gè)可能的狀態(tài)遷移圖選擇最合適的調(diào)度策略,。

（6）不同優(yōu)先級(jí)下基于搶占的調(diào)度能力

在業(yè)務(wù)負(fù)載比較重并可能超過(guò)云系統(tǒng)內(nèi)資源總量的時(shí)候，需要有機(jī)制保證高優(yōu)先級(jí)的服務(wù)正常運(yùn)行,，犧牲低優(yōu)先級(jí)應(yīng)用的服務(wù)質(zhì)量，也就是服務(wù)質(zhì)量等級(jí)保證（service level agreement,，SLA），這是云平臺(tái)的一個(gè)重要特性,。在調(diào)度系統(tǒng)內(nèi)增加了基于搶占的調(diào)度模式,，將服務(wù)和資源按照優(yōu)先級(jí)進(jìn)行區(qū)分,，如果出現(xiàn)資源不足以調(diào)度高優(yōu)先級(jí)應(yīng)用的情況,，則通過(guò)搶占的方式調(diào)度低優(yōu)先級(jí)應(yīng)用的資源,。

類似于操作系統(tǒng)的調(diào)度模塊,，云平臺(tái)的調(diào)度是整個(gè)云平臺(tái)能夠有效運(yùn)行的關(guān)鍵技術(shù),。云平臺(tái)的總體架構(gòu)如圖2所示,，最底層是Kubernetes服務(wù),，其上層運(yùn)行著自研的幾個(gè)產(chǎn)品或服務(wù),。其中,，配置中心用于實(shí)時(shí)地收集和管理云平臺(tái)內(nèi)運(yùn)行的所有服務(wù)的配置參數(shù)，支持運(yùn)維人員手動(dòng)地對(duì)一些服務(wù)進(jìn)行參數(shù)設(shè)置或管理,；物理資源池是通過(guò)各個(gè)服務(wù)進(jìn)行池化后的邏輯資源,，應(yīng)用申請(qǐng)的物理資源都會(huì)從這個(gè)資源池中邏輯地劃分出去,，在應(yīng)用使用完結(jié)后再返還給資源池,，平臺(tái)會(huì)給不同的租戶做資源配額限制,；云存儲(chǔ)服務(wù)是基于本地存儲(chǔ)開(kāi)發(fā)的分布式存儲(chǔ)服務(wù),，會(huì)保留狀態(tài)服務(wù)的數(shù)據(jù),，保證應(yīng)用數(shù)據(jù)的最終持久化和災(zāi)備能力,；云網(wǎng)絡(luò)服務(wù)是自研的網(wǎng)絡(luò)服務(wù),，提供應(yīng)用和租戶類似虛擬私有云（virtual private cloud,，VPC）的網(wǎng)絡(luò)能力，可以做到完整的資源隔離和服務(wù)等級(jí)協(xié)議（service level agreement,，SLA）管控,；標(biāo)簽中心用于實(shí)時(shí)地收集和管理各個(gè)應(yīng)用,、主機(jī),、資源的標(biāo)簽,，支持動(dòng)態(tài)的標(biāo)簽修改與實(shí)時(shí)調(diào)度觸發(fā),。

在此之上是云調(diào)度系統(tǒng)，它接收應(yīng)用的輸入,，從配置中心,、標(biāo)簽中心、云存儲(chǔ)服務(wù)和云網(wǎng)絡(luò)服務(wù)中實(shí)時(shí)獲取平臺(tái)運(yùn)行指標(biāo),，并從物理資源池中獲取資源的使用情況,，從而根據(jù)運(yùn)行時(shí)的信息進(jìn)行精確的調(diào)度決策。云調(diào)度系統(tǒng)之上是各類應(yīng)用服務(wù),，包括大數(shù)據(jù),、AI、數(shù)據(jù)庫(kù)類以及各種微服務(wù),。

本文設(shè)計(jì)的云平臺(tái)的調(diào)度系統(tǒng)的內(nèi)部架構(gòu)如圖3所示,，包含元信息模塊、對(duì)外服務(wù)模塊以及調(diào)度決策模塊,。當(dāng)一個(gè)應(yīng)用通過(guò)Kubernetes API或者命令行（基于Kubectl）的方式啟動(dòng)時(shí),，它會(huì)傳入一個(gè)指定服務(wù)編排方式的yaml文件以及啟動(dòng)應(yīng)用需要的容器鏡像（docker image）。在yaml文件中會(huì)指定當(dāng)前應(yīng)用需要的資源,、與調(diào)度相關(guān)的標(biāo)注信息（或標(biāo)簽信息）以及對(duì)其他應(yīng)用的依賴關(guān)系,。

對(duì)外服務(wù)模塊負(fù)責(zé)解析編排文件，同時(shí)負(fù)責(zé)完成應(yīng)用的依賴解析和管理,，生成對(duì)服務(wù)的依賴圖,；參數(shù)計(jì)算模塊負(fù)責(zé)編排文件中與配置變量相關(guān)的計(jì)算，并生成最終的資源需求,；實(shí)例渲染模塊最終生成一個(gè)完整的應(yīng)用描述,，并將這個(gè)描述文件提交給調(diào)度決策模塊。

元信息模塊負(fù)責(zé)與Kubernetes平臺(tái)交互,，實(shí)時(shí)地維護(hù)用于調(diào)度的各種元數(shù)據(jù),。資源池?cái)?shù)據(jù)主要包括當(dāng)前集群的各種資源總量以及當(dāng)前的使用情況,，并可以精細(xì)到各個(gè)節(jié)點(diǎn)和硬盤級(jí)別；網(wǎng)絡(luò)拓?fù)淠K負(fù)責(zé)與容器網(wǎng)絡(luò)進(jìn)行交互,，實(shí)時(shí)地維護(hù)當(dāng)前容器網(wǎng)絡(luò)與主機(jī)網(wǎng)絡(luò)的拓?fù)?；存?chǔ)拓?fù)淠K負(fù)責(zé)與云存儲(chǔ)服務(wù)交互，實(shí)時(shí)記錄當(dāng)前存儲(chǔ)池的各個(gè)存儲(chǔ)卷（PV）的容量使用情況和每秒進(jìn)行讀寫操作的次數(shù)（input/output operations per second,，IOPS）,；服務(wù)運(yùn)行指標(biāo)主要同步當(dāng)前集群各個(gè)物理節(jié)點(diǎn)上各個(gè)容器的運(yùn)行指標(biāo)以及各個(gè)物理機(jī)的各項(xiàng)資源的使用指標(biāo)；配置元數(shù)據(jù)模塊主要協(xié)助配置中心維護(hù)各個(gè)應(yīng)用的實(shí)時(shí)配置參數(shù),。因此,，通過(guò)元信息模塊，調(diào)度器能夠維護(hù)當(dāng)前云平臺(tái)的各種調(diào)度決策數(shù)據(jù),，從而實(shí)時(shí)地根據(jù)運(yùn)行數(shù)據(jù)進(jìn)行最優(yōu)化調(diào)度,。

在對(duì)外服務(wù)模塊提交了實(shí)時(shí)渲染的應(yīng)用描述請(qǐng)求后，調(diào)度決策模塊會(huì)根據(jù)請(qǐng)求中的資源大小,，通過(guò)內(nèi)部的6個(gè)調(diào)度器進(jìn)行調(diào)度目標(biāo)的選擇,。依賴調(diào)度器會(huì)解析應(yīng)用的需求，同時(shí)遍歷當(dāng)前的服務(wù)元數(shù)據(jù),，查找是否有已經(jīng)運(yùn)行的可以給當(dāng)前應(yīng)用依賴的微服務(wù),。如果有，則直接使用該服務(wù),，并更新相應(yīng)的配置參數(shù),；如果沒(méi)有，則解析被依賴的服務(wù)的參數(shù),，同時(shí)選擇運(yùn)行一遍完整的調(diào)度流程。如果有嵌套服務(wù)依賴,，則遞歸調(diào)用相關(guān)的調(diào)度邏輯,，直至所有依賴鏈的服務(wù)都處于運(yùn)行狀態(tài)。存儲(chǔ)調(diào)度器提供基于存儲(chǔ)感知的容器調(diào)度能力,，它會(huì)解析應(yīng)用是否有明確的本地?cái)?shù)據(jù)的要求,，如果有，則從存儲(chǔ)拓?fù)渲姓业胶线m的物理節(jié)點(diǎn)組,，并將其他節(jié)點(diǎn)標(biāo)記為此次調(diào)度無(wú)效,；資源調(diào)度器負(fù)責(zé)找到有足夠資源啟動(dòng)應(yīng)用或者容器的物理節(jié)點(diǎn)組；網(wǎng)絡(luò)調(diào)度器負(fù)責(zé)根據(jù)應(yīng)用的網(wǎng)絡(luò)IP要求選擇滿足網(wǎng)絡(luò)規(guī)則的物理節(jié)點(diǎn)組,；標(biāo)簽調(diào)度器負(fù)責(zé)選擇滿足各種標(biāo)簽規(guī)則的物理節(jié)點(diǎn)組,。通過(guò)這5個(gè)調(diào)度器選擇的物理節(jié)點(diǎn)如果有多個(gè)，調(diào)度器則根據(jù)負(fù)載均衡的原則選擇合適的物理節(jié)點(diǎn),，從而啟動(dòng)這個(gè)容器,；如果沒(méi)有任何節(jié)點(diǎn)有足夠的資源,，SLA調(diào)度器會(huì)遍歷被選擇指定節(jié)點(diǎn)上已經(jīng)在運(yùn)行的所有容器，找到當(dāng)前被優(yōu)先級(jí)更低的應(yīng)用占用的容器,，并選擇kill等機(jī)制,，循環(huán)此操作，直到資源滿足本次調(diào)度為止,，從而實(shí)現(xiàn)高優(yōu)先級(jí)應(yīng)用的搶占式調(diào)度策略,。

應(yīng)用服務(wù)的調(diào)度需求包含依賴的服務(wù)、服務(wù)自身的Docker鏡像,、資源需求,、網(wǎng)絡(luò)與存儲(chǔ)需求、配置參數(shù)等各個(gè)方面的屬性,，因此選擇Jsonnet語(yǔ)言進(jìn)行應(yīng)用的資源描述文件,。Jsonnet是Google公司開(kāi)源的新一代JSON協(xié)議，支持引用,、算術(shù)運(yùn)算,、條件操作符、函數(shù),、變量,、繼承等強(qiáng)大的計(jì)算能力，可以描述多樣化的需求,。

一個(gè)簡(jiǎn)單的基于Jsonnet的資源編排文件示例如圖4所示,。其中app.yaml 描述依賴關(guān)系和依賴變量，config.jsonnet描述配置參數(shù)和定義輸入,，而customizemain.jsonnet 定義模板入口和輸出變量,。在運(yùn)行時(shí)，通過(guò)服務(wù)模塊的實(shí)例渲染組件即可將這些編排文件和當(dāng)前平臺(tái)內(nèi)的運(yùn)行參數(shù)進(jìn)行實(shí)例化,，渲染出一個(gè)可以被Kubernetes調(diào)度的service/replication controller或者deployment的描述文件,。

由于每個(gè)服務(wù)運(yùn)行時(shí)都可能發(fā)生重啟或者遷移，且API網(wǎng)關(guān)等可能會(huì)動(dòng)態(tài)地設(shè)置運(yùn)行參數(shù),，為了讓服務(wù)能夠及時(shí)地感知各種運(yùn)行參數(shù),，創(chuàng)建了一個(gè)統(tǒng)一的配置標(biāo)簽中心作為中心化的服務(wù)，提供配置和標(biāo)簽元數(shù)據(jù)的管理和查詢,。應(yīng)用程序使用的配置基于Kubernetes ConfigMap的方式來(lái)實(shí)現(xiàn)配置與容器鏡像的解耦,。ConfigMap的示例如圖5所示，包含了標(biāo)簽和數(shù)據(jù)屬性,，都是以鍵-值數(shù)據(jù)對(duì)的方式來(lái)保存的,。容器可以直接引用相應(yīng)的ConfigMap中的數(shù)據(jù)，而這些配置數(shù)據(jù)則存儲(chǔ)在配置標(biāo)簽中心服務(wù)中,。用戶可以通過(guò)界面或者命令行的方式修改配置的數(shù)值或者增加新的鍵-值對(duì),，并且當(dāng)有任何配置數(shù)據(jù)修改后,，Kubernetes會(huì)動(dòng)態(tài)地修改每個(gè)節(jié)點(diǎn)的ConfigMap文件，并在短時(shí)間內(nèi)讓容器知曉相應(yīng)的數(shù)據(jù)變化,，從而 實(shí)現(xiàn)中心化的動(dòng)態(tài)配置和標(biāo)簽修改,。

由于配置和標(biāo)簽中心服務(wù)中包含了運(yùn)行時(shí)的各種配置和標(biāo)簽數(shù)據(jù)，因此調(diào)度器通過(guò)與配置標(biāo)簽中心交互就可以獲取整個(gè)云平臺(tái)的標(biāo)簽和配置元數(shù)據(jù),，從而可以支持基于標(biāo)簽的調(diào)度能力,。

云平臺(tái)中的存儲(chǔ)服務(wù)Warpdrive提供一個(gè)中心化的RESTful服務(wù)，可以支持外部服務(wù)對(duì)存儲(chǔ)卷的實(shí)際使用情況的實(shí)時(shí)查詢,，因此調(diào)度器通過(guò)監(jiān)聽(tīng)相關(guān)的接口來(lái)實(shí)時(shí)感知每個(gè)主機(jī)的存儲(chǔ)卷使用情況以及每個(gè)容器與物理節(jié)點(diǎn)的綁定關(guān)系,。

網(wǎng)絡(luò)服務(wù)也同樣提供RESTful API查詢服務(wù)，使得調(diào)度器可以知曉各個(gè)容器IP和物理IP的使用情況以及各個(gè)容器的網(wǎng)絡(luò)防火墻規(guī)則等實(shí)時(shí)數(shù)據(jù),，因此調(diào)度器能夠?qū)崟r(shí)地感知云平臺(tái)內(nèi)的網(wǎng)絡(luò)和存儲(chǔ)實(shí)際運(yùn)行情況,。