目前IDC機房建設(shè)規(guī)模越來越大,，服務(wù)器的集成度越來越高,，數(shù)據(jù)設(shè)備的功率提升和其部署方式帶來了新的冷卻問題，這使得IDC機房內(nèi)的制冷空調(diào)問題,，已經(jīng)超越電源,，成為電信運營IDC的首要問題。文中針對IDC機房空調(diào)存在的主要問題進行分析,，提出解決方案并對部分方案進行了實際應(yīng)用,。
目前IDC 空調(diào)存在的主要問題
從目前IDC 運行情況來看，IDC 機房空調(diào)電源中斷,、空調(diào)冷量設(shè)計、機房大環(huán)境氣流組織不合理,、機柜內(nèi)部小環(huán)境氣流組織不合理,、機柜熱量過大、機柜布置不合理等問題是導(dǎo)致機房過熱的主要原因和問題,。對這些問題,，本文從電源保障、空調(diào)配置,、氣流組織和高密服務(wù)器布置等方面展開探討,，提出解決方案，并在杭州IDC 機房建設(shè)中進行了實際應(yīng)用,，在保障IDC 機房安全運行同時,，達(dá)到節(jié)能減排的目的。
空調(diào)保障解決方案
1 空調(diào)電源保障
IDC 機房內(nèi)發(fā)熱厲害，溫度梯度變化也大,，通風(fēng)降溫復(fù)雜,，而空調(diào)使用的是市電，一旦停電,，就會造成機房溫度迅速竄升,。在一般的通信機房，由于功率密度低,，柴油發(fā)電機啟動延遲和常規(guī)的電源倒閘操作是沒有問題的,，但是對IDC機房來說，在電源中斷的這段時間內(nèi)是難以接受的,，空調(diào)會停止制冷,，特別是空調(diào)風(fēng)機的停機導(dǎo)致了氣流循環(huán)的中斷，據(jù)測試,，在單機柜5kW 負(fù)載情況下,，機房溫度會在發(fā)電機啟動延遲和電源倒換過程中會升高5～20°C；如果電源中斷時間過長,，就會演變成為一場災(zāi)難,。可見,，保障IDC 機房空調(diào)的電源可靠性和提升可用性是重中之重,，必須制定可靠的空調(diào)電源保障方案，以防止空調(diào)電源中斷或盡量縮短電源中斷時間,。
1) UPS 方案
由于空調(diào)的重要性,，大負(fù)荷IDC 機房空調(diào)的供電等極應(yīng)不低于服務(wù)器設(shè)備的供電等級，因此采用UPS 供電也并不為過,。在國外,，大型數(shù)據(jù)中心的機房空調(diào)系統(tǒng)采用UPS 供電的方法越來越普遍；在國內(nèi),，江蘇電信公司部分機房把專用空調(diào)的風(fēng)機接在UPS 上,，這樣解決了停電后的短時間氣流組織中斷的問題，從使用效果來看還不錯,。采用UPS方案不利的因素是存在投資過大的問題,。
2) IDC 空調(diào)雙電源方案：
對IDC 機房，同一個機房的空調(diào)電源最好不要同時使用同一路電源,，以防止一路電源中斷就會導(dǎo)致機房溫升過高,。IDC 機房的空調(diào)配電屏，進線電源必須有兩路,，兩路電源必須來自不同的低壓配電系統(tǒng),，兩路電源間可以手動切換或者采用ATS 自動倒換,，如果采用ATS 最好設(shè)置成不同的主路（但是在油機供電下，要注意ATS 的自動切換可能會引起部分油機的過載）,；一旦電源中斷,，可以縮短中斷時間并減小影響面。圖1,、圖2 和圖3 是杭州電信IDC 普遍使用的雙電源屏和雙ATS 電源屏,。
3) 空調(diào)配電屏接線方法
相臨的空調(diào)應(yīng)該從不同的空調(diào)配電屏引出，如1 個機房布置16 臺空調(diào),，兩塊空調(diào)配電屏,，那1、3,、5,、7 等奇數(shù)空調(diào)就從配電屏1 引入（主用市電1），2,、4,、6、8 等偶數(shù)空調(diào)從配電屏2 引入（主用市電2）,。這樣即使一路電源發(fā)生異常,，影響到的空調(diào)是部分的，恢復(fù)的時間也很快,。
4) 雙 ATS 電源柜＋空調(diào)新型電源接線方法
這種方案是對方法2,、3 的綜合應(yīng)用，即采用ATS 的同時采用雙電源屏方案,。從實際使用效果來看,，在兩路高壓引入的情況下，采用雙ATS電源柜＋空調(diào)新型電源接線方法,，比用UPS 供電更經(jīng)濟,，而且可靠性也沒減少多少，由于同一機房的空調(diào)電源來自于不同的高壓系統(tǒng),，如果這兩路高壓是真雙路的話,，那同時停電的概率是很低的；而在停一路高壓的情況下,，還有一半的空調(diào)在運行，最重要的是氣流組織不會中斷,，在油機啟動倒電過程中機房的溫升還是可以接收的,。一個大的IDC 機房最好有兩塊以上的空調(diào)配電屏，以方便上述方法的空調(diào)接線,，如果僅采用一塊空調(diào)配電屏,，空調(diào)配電屏內(nèi)部的空開要有備份和冗余。
2 空調(diào)配置
機房空調(diào)的冷量要大于機房的最大熱負(fù)荷并有富裕，空調(diào)的配置原則是根據(jù)機房總熱量總體規(guī)劃空調(diào)設(shè)計,，按照N 1 原則配置空調(diào)數(shù)量,。可是我們會遇到這樣一個問題：空調(diào)已經(jīng)按照N 1 配置,，為什么IDC 機房溫度會打不下來,？
1) 分區(qū)配置原則
傳統(tǒng)的配置是以機房為單位；采用的是房間級制冷,，空調(diào)是以機房為單位進行制冷,，但這種方法的配置和冗余并不適用于大型的IDC機房。
現(xiàn)在的IDC 機房由于建設(shè)規(guī)模大,、面積大和機柜功率密度高,，如果按照房間級配置空調(diào)，一臺空調(diào)發(fā)生故障,，由于冗余的空調(diào)相距過遠(yuǎn),，氣流組織無法送達(dá)，會造成局部機柜設(shè)備過熱,；因此大型IDC 機房的空調(diào)要進行分區(qū)配置,，即把一個大型的IDC 機房劃分為若干個分區(qū)，然后保證每一個分區(qū)內(nèi)的空調(diào)均有冗余,，這樣空調(diào)發(fā)生故障后,，每一塊區(qū)域內(nèi)的服務(wù)器才是安全的。杭州電信的興議,、濱江等IDC 機房,，就以四列的機柜為一個分區(qū)，然后按照每個分區(qū)都滿足N 1 的冗余方式配置,，是一種比較安全的辦法,。
2) 空調(diào)冷量取值
機房空調(diào)的冷量計算要采用顯冷量，而不是空調(diào)全冷量,。要保證機房空調(diào)的總顯冷量始終大于機房的熱負(fù)荷,，但是機房空調(diào)的顯冷量在不同情況下是一個變值，它標(biāo)注的顯冷量是在23 度,、50％下測定的,，隨著機房濕度的增高，機房空調(diào)的顯熱比會下降,。比如一臺制冷量標(biāo)注100KW 的機房空調(diào),，測試工況下顯冷量90KW，當(dāng)機房現(xiàn)對濕度達(dá)到65％以上時,，空調(diào)的顯冷量只有80KW 了,，20％的冷量消耗在除濕過程中,。設(shè)計過程中如果按90KW 或者100KW 的數(shù)據(jù)設(shè)計，夏季高溫高濕環(huán)境下,，機房的冷量就會不夠,。另外在較大的IDC 機房里面，由于混風(fēng)情況的存在,，導(dǎo)致空調(diào)的送回風(fēng)溫差過小,，空調(diào)顯冷量進一部下降。因此在確定空調(diào)的制冷總?cè)萘繒r,，必須加大30％以上,，目前的經(jīng)驗認(rèn)為，空調(diào)的總制冷量必須是機房熱負(fù)荷的1.3～1.6 倍,，大型的IDC 必須取上限,。
3) 合理的N 值
從IDC 運行情況來看，N 1 的N 數(shù)值要合適,，N 大了,，冗余度不夠，機房不安全,；N 小了,，機房會安全，但投資大且造成空調(diào)運行的能效比過小,，如果采用冷備用空調(diào)（停機）,，部分冷風(fēng)也會從停機的空調(diào)回風(fēng)口跑出來，造成氣流短路或者氣流倒灌,，影響機房的原有氣流組織,，如果能夠以低速或者低風(fēng)量運行備用空調(diào)，那總體風(fēng)機功率就可以下降,，效率提升,；IDC 機房空調(diào)的N 取值在4～5 之間是比較合理的，更高密度機房則要把N 取值再減低,。
另外對于部分新建和擴建機房,，由于負(fù)荷的不確定，空調(diào)無法一部安裝到位,，是隨設(shè)備的增加而陸續(xù)增加的,，這種情況要統(tǒng)一規(guī)劃好空調(diào)的位置，并跟蹤機房熱負(fù)荷變化情況,，適時增配空調(diào),，確保機房始終滿足N 1 原則。
空調(diào)配置多,，可以提高機房的安全性,，但會降低空調(diào)的能效比，導(dǎo)致耗電上升,，如何以較少的備用機房空調(diào)在高密度機房情況下實現(xiàn)冗余是我們機房空調(diào)運行中必須關(guān)注的一個問題,。
3 機房大環(huán)境氣流組織
這是IDC 規(guī)劃和設(shè)計的重點和難點，氣流組織的產(chǎn)生,、氣流組織的配送和氣流組織的返回都要合理,，一個高效有著良好氣流組織的IDC 機房是規(guī)劃和設(shè)計出來的，而不是靠后期改造出來的,。對于一個新建的IDC,，從有利于氣流組織的角度出發(fā)，下面這些是必須注意的,。
1) 機房布置
大型IDC 機房不宜正方形,，而應(yīng)為長條形，這樣有利于空調(diào)布置,，并減少空調(diào)的送風(fēng)距離和風(fēng)阻,。
2) 送風(fēng)方式
新建的IDC 空調(diào)應(yīng)該是下送風(fēng)方式，冷熱風(fēng)道進行分離,。
目前的送風(fēng)方式有上送下回,、側(cè)送側(cè)回、上送上回及下送上回等多種方式,，但是下送風(fēng)方式比上送風(fēng)更有利于機房的氣流組織和提高送風(fēng)效率,，如圖4；冷熱通道分離是指各個機柜服務(wù)器均以面對面,，背高背的方式進行布置,。冷熱氣流組織隔離后氣流組織更合理，而且增大送風(fēng)和回風(fēng)之間的溫差,，從而提高機房空調(diào)機組的效率,。目前的研究表明，達(dá)到相同制冷效果的前提下,，下送風(fēng)所需風(fēng)量比上送風(fēng)所風(fēng)量小,，這也就說明了下送上回式風(fēng)比上送下回氣流組織效率更高。
3) 關(guān)注地板高度,、樓房的凈高和機架間距
活動地板的高度對機房空調(diào)的空氣循環(huán)效率有著重大的影響,，架空地板的高度應(yīng)根據(jù)負(fù)荷密度、機房面積綜合確定,。所需的凈高度取決于機房的大小功率密度和空調(diào)的設(shè)計方案,，對于氣流組織來說，活動地板高度是越高越好,，大型IDC 機房建議地板凈高≥60cm（圖5）,，并根據(jù)機架負(fù)荷可以適當(dāng)加大機架間距,。
IDC 機房的高度不宜太低，要保證回風(fēng)層的層高,，如果這個高度如果太低,，會影響空調(diào)的回風(fēng)效果，導(dǎo)致機柜內(nèi)部的熱量不容易返回到空調(diào),，另外在市電中斷過程中,，機房層高也會影響到服務(wù)器宕機的時間，因此要保障機房的層高,，圖4 是建議的機房高度,。
4) 風(fēng)道完整
要保證冷風(fēng)道的完整，這樣才能保證氣流組織,，常規(guī)的解決措施如下：
封閉地板上所有不必要的開口,，包括未安裝服務(wù)器的機柜、UPS 電源和空調(diào)電源柜等下部的開口,，防止冷風(fēng)風(fēng)道氣流泄露,；
靠近墻面和電纜井的地方也需要進行封閉。
實際使用中,，如果發(fā)現(xiàn)機房某處的溫度明顯過低,，就表明該點的附件存在冷風(fēng)泄露，要找出泄露點并進行封閉,。
5) 開口地板的布置
開口地板應(yīng)該布置在需要冷風(fēng)來對設(shè)備進行冷卻的位置,。不要在機房空調(diào)機組附近放置開口地板，否則空調(diào)送出的冷風(fēng)很容易返回到空調(diào),，開口地板與空調(diào)機組之間應(yīng)保持至少2M 的間距,。
1) 冷通道封閉
各機柜以面對面成排方式布置，在冷通道上機柜的頂部和整列機柜的兩端進
行封閉,。這樣送風(fēng)和回風(fēng)之間就實現(xiàn)了完全的隔離,，冷風(fēng)通過活動地板送到密閉的冷通道內(nèi),熱風(fēng)離開機柜進入機房環(huán)境，再返回到機房空調(diào)機組（圖7）,，機房本身處于一個較高的溫度水平,。
要注意的是整個IDC 機房內(nèi)的所有冷通道都必須被密閉，這樣才可以體現(xiàn)封閉的優(yōu)勢,，僅僅封閉機房內(nèi)的部分冷通道沒有太多的作用和意義,，因為在沒有封閉的地方，跑出的冷風(fēng)都可以與熱風(fēng)混合從而抵消預(yù)期的節(jié)能效果,。封閉冷通道后,，空調(diào)的送回風(fēng)溫度均可以提升，使制冷系統(tǒng)運行在高效情況下面。
但是在實際運行情況下,，冷通道被封閉后,，機房其余的空氣溫度會變得更熱了（在27℃～35℃），在這種高溫下,，用戶會以為是空調(diào)發(fā)生故障,，即使事先溝通，知道該情況機房空調(diào)未發(fā)生故障,，進入機房巡視的人感覺也會很不舒服，因此要和用戶充分溝通,，讓他們認(rèn)識并接收這種觀念,。否則用戶就會要求降低空調(diào)
設(shè)置溫度，這樣一來,，節(jié)下的能量又回去了,。
2) 熱通道封閉
各機柜以面對面成排方式布置，在熱通道上機柜的頂部和整列機柜的兩端進
行封閉,，以管道或者天花板的形式把熱風(fēng)引會到空調(diào)機組內(nèi),，這樣送風(fēng)與回風(fēng)之間也實現(xiàn)了隔離（圖8）。
由于冷風(fēng)送到整個機房,，機房處于一個較平均的溫度水平,，而熱通道能夠保持較高的溫度。現(xiàn)有資料顯示：在典型的高熱機房中,，服務(wù)器熱風(fēng)和機房室溫的溫差一般在17℃左右,。如果機房溫度按ASHRAE TC9.9 要求保持在22℃，那么17℃的溫差可以使服務(wù)器的排風(fēng)溫度達(dá)到39℃,。但在實際的熱風(fēng)封閉系統(tǒng)中,，制冷機組的送風(fēng)量往往會比服務(wù)器需求量要多，而且會有少量的機房空氣進入熱通道,，這樣導(dǎo)致回風(fēng)溫度略有下降,，但仍然達(dá)到38℃，這樣高的回風(fēng)溫度使得與制冷盤管的熱交換更充分,，制冷設(shè)備利用率更好,，總效率也更高?；仫L(fēng)溫度的提高對制冷機組制冷量的影響適用于幾乎所有的空調(diào),，所有的制冷系統(tǒng)在回風(fēng)溫度較高時都將具有更大的制冷量。
3) 通道封閉需要考慮的因素
通道封閉會增加建設(shè)成本,；在機柜的前方和后方安裝密封盲板均會增加成本,。
通道封閉會造成回風(fēng)溫度升高；密封越好,，空調(diào)的回風(fēng)溫度越高,，要關(guān)注空調(diào)設(shè)備和用戶工作環(huán)境溫度的運行限制,。
通道封閉要不影響到現(xiàn)有的消防系統(tǒng)。在對冷熱通道封閉的過程中,，會對消防系統(tǒng)產(chǎn)生影響,，一旦火警，消防氣體不容易進入封閉的通道內(nèi),，影響消防系統(tǒng)的使用,，針對這種情況，杭州電信的技術(shù)人員在東冠IDC 中心采用了可以自動敞開的柜頂（圖9）,，在柜頂安裝有電磁鐵（圖10）,，正常情況下，電磁閥線圈得電,，吸住柜頂擋板,；電磁線圈和消防聯(lián)動，一旦火警,，電磁線圈失電,，柜頂擋板在重力作用下自動打開，冷通道從封閉模式變成敞開模式,。
這樣做帶來兩個好處,，一是解決了消防的問題，另一個是和市電聯(lián)動,，在市電中斷過程中,，敞開的通道可以延長服務(wù)器的宕機時間。
5 機柜內(nèi)部氣流
對于服務(wù)器來說,，如果空調(diào)總的制冷量和機房大環(huán)境氣流可以滿足機房要求,，最后還要保證機柜內(nèi)部的服務(wù)器的溫度正常，換句話說就是機柜內(nèi)服務(wù)器產(chǎn)生的熱量要能通過機柜內(nèi)部的小氣流組織及時帶走,；在機柜里面,，一方面，空氣氣流會選擇流阻最小的路徑,，我們要阻止機柜內(nèi)熱空氣同冷空氣混合,，另一方面，在一個機架內(nèi),，冷氣是從下部送入,，自下而上流動，機架最上部服務(wù)器溫度往往是最高的,，如果機柜內(nèi)部的小氣流組織不合理,，或者冷風(fēng)進風(fēng)量不夠，就會造成服務(wù)器局部過熱。
1) 消除氣流回流
在氣流回流存在的情況下,，機架正面的垂直溫度梯度會很大,，部分機架前部的上下溫度差可達(dá)10°C。因此要使用盲板或擋板來封閉服務(wù)器被拆除或者未安裝的空間,，防止部分冷空氣直接跑到熱風(fēng)風(fēng)道內(nèi),，另一方面也可以防止服務(wù)器的熱風(fēng)通過這些部位回到服務(wù)器的冷風(fēng)風(fēng)道內(nèi)，造成氣流組織短路,。,。安裝擋板可以防止冷卻空氣繞過服務(wù)器上的入口形成熱空氣循環(huán)，在機柜上層服務(wù)器的入口溫度有了明顯下降,，圖11美國電力轉(zhuǎn)換公司對安裝盲板前后的服務(wù)器進風(fēng)溫度對比情況,。
2) 新型工藝機柜：
這種機柜是專門對機柜內(nèi)進行優(yōu)化和機柜氣流組織設(shè)計，直接在機柜內(nèi)部進行送風(fēng),，采用盲板和漂浮式盲板來封閉機柜上未使用的單元，機柜的前門和服務(wù)器形成一個單獨的冷通道,，熱風(fēng)從機柜的后面和上端排出,，避免了機柜內(nèi)氣流短路，氣流組織比較合理,。根據(jù)這個原理,，浙江電信分公司在2008年專門研制了新型工藝機柜，并在杭州電信的IDC 機房進行應(yīng)用,，如圖12,，在單機柜功率4KW情況下，這種機柜冷卻良好并起到很好的節(jié)能效果,。
5. 更高密度服務(wù)器布置
在IDC 運行情況看,，我們會遇到兩種不同的熱點問題，一種是在高密度區(qū)域布置更高密度服務(wù)器造成的局部溫度過高,，如在平均機柜5KW 的機房布置10KW以上的機柜,；另一種是整體熱點問題，一個機房的所有服務(wù)器均是高密度設(shè)備,，如單機柜平均功率10KW 以上,，造成整個機房溫度過高問題。對于前者,，最好是不要這樣布置,，如果逼不得已，那最好能采取一些特殊的補救措施,；對于后者,，建議重新設(shè)計IDC 機房。
1) 局部更高密度布置方案
不同功率密度的服務(wù)器不宜布置在同一機房，尤其是在固定密度區(qū)域布置更高密度服務(wù)器,，會導(dǎo)致機房局部熱點問題突出,。但在實際過程中，往往又不可避免,，比如用戶一定要這樣布置,，而溝通無效的情況，如何解決這些問題,？
方法一：在現(xiàn)有的運行空間內(nèi)加強冷卻能力
如果用戶無法對他的高密度服務(wù)器進行分散,，這種情況下，就要想辦法增加冷卻能力,，如杭州電信就在機房里額外增加了部分空調(diào)（圖13）,，并在高熱區(qū)域增加開口地板數(shù)量，也可以安裝地板下氣流輔助裝置（圖14）,，個別機房安裝了特制的回流管道（圖15）,，確保高密度服務(wù)器可以得到足夠的冷量，同時服務(wù)器排出的熱量可以順利返回到空調(diào),。
方法二：分散高密度機架
但在實際情況中,，由于機房空間的限制，增加空調(diào)冷量的方法很難實現(xiàn),，因此將高密度負(fù)載進行分散是一個比較有效的方法,，這樣分開的高密度機架可以有效地“借用”鄰近機架的冷量來進行冷卻。杭州東冠IDC 機房,，用戶要在機柜設(shè)計功率4.5KW 的機房放置部分12KW 的核心網(wǎng)絡(luò)設(shè)備（cisco N7K）,，在解決這個問題時就采用了熱量分散原則，將兩個機架布置在不同的兩列,，并留出三個機柜的位置用來冷卻這個高密度機架,，這樣機房平均功率密度控制在設(shè)計的范圍內(nèi)，如圖16：
2) 整體高密方案
如果所有服務(wù)器均是高密設(shè)備,，必須重新設(shè)計IDC 機房,，但是我們會面臨一個問題，就是風(fēng)冷空調(diào)的冷卻極限（目前在6KW/㎡）,，如果機柜的發(fā)熱過大（現(xiàn)在一個機柜的熱量就輕松突破20KW）,，我們應(yīng)該如何解決這個問題呢？
采用增加機柜的間距或者減低服務(wù)器的放置密度,，從而降低整個機房的平均功率密度,，可以把功率密度控制在風(fēng)冷極限的范圍以內(nèi)。在杭州電信濱江IDC機房,，某服務(wù)器單機柜銘牌功率20KW（圖17）,，實測13KW,，機柜發(fā)熱嚴(yán)重。而用戶又很著急,，為了完成這個任務(wù),，杭州電信在規(guī)劃這個機房時，加大了冷風(fēng)道和熱風(fēng)道的間距,，將冷風(fēng)道從1.2 米提升到4.8 米（圖18）,，并增加了熱風(fēng)道的間距，這樣一來,，單位功率密度就下降了一半,；另外增加了機房空調(diào)數(shù)量，空調(diào)的冷量采用了2N 配置,；同時提升了地板高度,，把地板高度提升到1.2 米，并啟用了柵欄地板,，保證了機柜所需的冷風(fēng)風(fēng)量,。
從使用效果看，該機房冷卻效果良好,，圓滿的解決了用戶的需求,。但是這種解決方案存在投資成本過高的問題，這種解決方法在對成本不敏感的情況下使用才是合理的,。
總結(jié)
由于篇幅的限制，只能對上述IDC建設(shè)和運行一些比較容易遇到的主要問題進行交流探討和摸索,，或許上面提到和采用的方法并不一定是最好或是最完善的,，但希望這些做法可以給同行借鑒和參考，避免走彎路和減少不必要的浪費,，IDC的系統(tǒng)設(shè)計,、建設(shè)和運維，還有很長的路要走,；對目前廣泛普及的高密度機架進行冷卻還有待我們的探索和經(jīng)驗積累,；另外IDC的節(jié)能降耗，也是任重道遠(yuǎn)的任務(wù)和工作,。希望在以后的日子里,，大家齊心協(xié)力，促進電信IDC的發(fā)展,，并為IDC的節(jié)能減排貢獻(xiàn)自己的一份力量,。
參考資料：
1、中國電信數(shù)據(jù)中心機房電源,、空調(diào)環(huán)境驗收規(guī)范
2,、GB50174-93 中華人民共和國國家標(biāo)準(zhǔn)電子計算機機房設(shè)計規(guī)范
3,、John Niemann 熱通道氣流遏制與冷通道氣流遏制
4、Neil Rasmussen 在低密度數(shù)據(jù)中心部署高密度區(qū)域
5,、Neil Rasmussen 計算數(shù)據(jù)中心的總制冷量第一版
6,、FIPS PUB 94 'Guidelinefor Computer Power for ADP Installations';National Technical InformationService
7、STULZ 數(shù)據(jù)中心制冷最優(yōu)方案 白皮書 2008年4月第二版
8,、中國電信股份有限公司浙江電信分公司 新型工藝機柜的研制
