|
引言, "The one that is without any tradeoff is to have the logical storage master up in the cloud" by Bill Gates. 2008 年的 IT 界,，云計(jì)算是個(gè)熱詞,。很多企業(yè)都在宣稱自己提供云計(jì)算服務(wù)，很多人也都在討論云計(jì)算(一些明顯是湊熱鬧的,，比如所謂的"云安全"),，從業(yè)界公認(rèn)的幾種云計(jì)算的服務(wù)能力看，都繞不開(kāi)存儲(chǔ)這個(gè)基礎(chǔ)支撐組件,，dSaaS(data-Storage-as-a-Service) 更是把存儲(chǔ)提到了首要的位置,。而從我們目前能得到的信息來(lái)看，在存儲(chǔ)層已經(jīng)解決很好的,，恐怕也只有 Google 和 Amazon 兩家,，至于其他公司可能都還在路上，即使是微軟,，盡管也有自己的 Dryad ,，但是實(shí)際上，仍然處于理論階段,，產(chǎn)品化的路還有點(diǎn)距離,。
上面表格中的舉例僅僅是為了舉例，如果某家已經(jīng) "云計(jì)算了" 的公司大名不在上面,，并非該公司"云"的不夠徹底,，應(yīng)該只是筆者眼光差的原因而已。 越來(lái)越迫切的信息存儲(chǔ)需求根據(jù) EMC 公司贊助 IDC 進(jìn)行的研究計(jì)劃 "Digital Universe" 的分析報(bào)告,，在整個(gè) 2007 年,，我們這個(gè)世界生成、占用的數(shù)字信息及復(fù)制總量大約是 281 Exabytes (1 Exabytes=1024 Petabytes ,，1 Petabytes = 1024 TB 這里換算都按照二進(jìn)制的換算),，這個(gè)數(shù)據(jù)平攤到地球上的所有人，大約是每個(gè)人 45 GB的數(shù)據(jù),；截至到筆者寫稿的時(shí)候,，2008年到現(xiàn)在整個(gè)世界已經(jīng)生成了大約 374 EB 的數(shù)據(jù)（可以到 "Digital Universe" 頁(yè)面查看最新的數(shù)據(jù)，也可以下載一個(gè)評(píng)估工具,，看看自己產(chǎn)生的數(shù)據(jù)是大約如何）,；到 2011 年，每年產(chǎn)生的數(shù)字信息大約是 1800 EB,，10倍于2006 年產(chǎn)生的信息量,。做為對(duì)比,，Google 每天處理的數(shù)據(jù)大約是 20 PB 的樣子，Google 的目標(biāo)是要組織所有的信息,，看來(lái)并非易事,。 其他可參考數(shù)據(jù)：據(jù)美國(guó)國(guó)家檔案館工作人員估計(jì)，布什政府電子檔案存儲(chǔ)量大約為1億GB,，這一數(shù)字約為前總統(tǒng)克林頓兩屆政府檔案總量的50倍,，是國(guó)會(huì)圖書館2000萬(wàn)冊(cè)編目圖書內(nèi)容總量的5倍。 每年激增如此龐大的信息量,，加上已有的歷史數(shù)據(jù)信息,，對(duì)整個(gè)業(yè)界的數(shù)據(jù)存儲(chǔ)、處理帶來(lái)了很大的機(jī)遇與挑戰(zhàn),。通過(guò)該研究能看出,，在可用存儲(chǔ)之間與信息生成總量之間不是嚴(yán)格匹配的，一方面多媒體領(lǐng)域信息增長(zhǎng)過(guò)快,，一方面因?yàn)椴缓侠淼拇鎯?chǔ)分配,、占用情形比比皆是。例如研究表明一封大約 1M 的郵件發(fā)出后,，經(jīng)過(guò)不同服務(wù)器的存儲(chǔ),、備份、歸檔等最后總體占用空間竟然達(dá)到驚人的 50M 之多,。正如云計(jì)算的初衷是為了充分發(fā)揮計(jì)算機(jī)閑置資源,，提高總體使用率以便達(dá)到經(jīng)濟(jì)效益，云計(jì)算中的存儲(chǔ)方面也應(yīng)該能有效提高存儲(chǔ)利用率而進(jìn)一步創(chuàng)造價(jià)值,，盲目的復(fù)制,、堆積數(shù)據(jù)是沒(méi)有出路的。工業(yè)界提倡節(jié)能減排,，其實(shí) IT 界應(yīng)該提倡一下節(jié)約存儲(chǔ)了,。 什么是云存儲(chǔ) ?其實(shí)，什么是云計(jì)算都很難有一個(gè)權(quán)威的定義,，筆者在這里更愿意把"云計(jì)算中涉及的存儲(chǔ)"簡(jiǎn)稱為云存儲(chǔ)(Cloud Storage),。云存儲(chǔ)本身離不開(kāi)云計(jì)算，更多的時(shí)候云存儲(chǔ)是做為云計(jì)算的一個(gè)支撐組件,。 云存儲(chǔ)不是簡(jiǎn)單的在線存儲(chǔ)或是網(wǎng)絡(luò)硬盤,，在線存儲(chǔ)服務(wù)只是云存儲(chǔ)能夠提供的眾多服務(wù)中的一種而已。 云存儲(chǔ)的特點(diǎn)云存儲(chǔ)至少應(yīng)該能夠具備如下特點(diǎn)：
云存儲(chǔ)的關(guān)鍵技術(shù)與服務(wù)形式要建設(shè)成功的云存儲(chǔ)系統(tǒng),，高擴(kuò)展性,、高可靠性的分布式文件系統(tǒng)是一個(gè)關(guān)鍵因素。而硬件問(wèn)題反而是次要的,。
云存儲(chǔ)的服務(wù)形式見(jiàn)上表,。 是否該建設(shè)云存儲(chǔ)服務(wù)?可能有些企業(yè)已經(jīng)在戰(zhàn)略中加上了云計(jì)算這個(gè)關(guān)鍵字，問(wèn)題是,，真的需要那么多云計(jì)算么? 如果在技術(shù)上,、規(guī)模化不能有效的節(jié)約成本,，那么跟風(fēng)建設(shè)云存儲(chǔ)服務(wù)是緣木求魚,。更多的企業(yè)是自身的存儲(chǔ)建設(shè)都遠(yuǎn)遠(yuǎn)不到位，大談云存儲(chǔ)無(wú)疑是癡人說(shuō)夢(mèng),。至少在國(guó)內(nèi),，我們的基礎(chǔ)建設(shè)還和國(guó)外有一段距離，而內(nèi)容審查與一些政策上的限制又會(huì)增加建設(shè)、運(yùn)營(yíng)成本,。 是否該使用云存儲(chǔ)服務(wù)?回答這個(gè)問(wèn)題之前,，我建議先看看服務(wù)提供方是否真的是云存儲(chǔ)服務(wù)，如果只是炒炒概念,，用老的架構(gòu)支撐,，換湯不換藥，那還是謹(jǐn)慎為妙,。企業(yè)如果不能從技術(shù)上做些本質(zhì)突破而節(jié)約成本,，那么成本肯定要轉(zhuǎn)嫁到消費(fèi)者身上，如果消費(fèi)者不買單,，那該服務(wù)如何能長(zhǎng)久? 和我們現(xiàn)實(shí)生活中很多山寨 IDC 類比一下就知道了,，動(dòng)輒聽(tīng)到某主機(jī)托管商一夜之間蒸發(fā)，用戶欲哭無(wú)淚的事情,。 如果使用云存儲(chǔ)服務(wù),，不妨和競(jìng)爭(zhēng)對(duì)手使用同一家服務(wù)商。出問(wèn)題的時(shí)候大家都出問(wèn)題,，保證始終處于同一起跑線,。 在國(guó)內(nèi)，短期內(nèi)還看不到有規(guī)模的云存儲(chǔ)服務(wù)商,。由于網(wǎng)絡(luò)的問(wèn)題,，企業(yè)用戶也不太可能去使用國(guó)外的服務(wù)（不排除將來(lái) Amazon S3 這樣的服務(wù)能在國(guó)內(nèi)提供服務(wù)）。期待在未來(lái)的一段時(shí)間能看到一些變化,，但這恐怕只是樂(lè)觀的想法,。 云存儲(chǔ)的潛在問(wèn)題
云存儲(chǔ)的錢途與前途時(shí)值全球經(jīng)濟(jì)的寒冬,，能夠?yàn)橛脩羰″X的服務(wù)相信也應(yīng)該能夠賺到錢,。從用戶的角度上看，云存儲(chǔ)解放了自身的生產(chǎn)力,，能夠允許中小創(chuàng)業(yè)團(tuán)隊(duì)集中精力做發(fā)展業(yè)務(wù),，只要不形成惡性競(jìng)爭(zhēng),，應(yīng)該不用擔(dān)心盈利的問(wèn)題。 就以 Amazon的 S3 來(lái)說(shuō),，基本上也很好的展示并實(shí)踐了 Web 2.0 長(zhǎng)尾理論：利用企業(yè)建設(shè)剩余的存儲(chǔ)以及網(wǎng)絡(luò)帶寬能力而為廣大中小網(wǎng)站提供服務(wù),，前途大好。相信 Google 推出類似服務(wù)也是指日可待的事情,。但這個(gè)市場(chǎng)內(nèi)應(yīng)該不會(huì)出現(xiàn)過(guò)多的有力競(jìng)爭(zhēng)者,，有些存儲(chǔ)廠商(比如EMC) 也在進(jìn)入這個(gè)領(lǐng)域，數(shù)據(jù)存儲(chǔ)不是問(wèn)題,，但網(wǎng)絡(luò)能力可不是那么好解決的事情,。 云存儲(chǔ)與傳統(tǒng)存儲(chǔ)：SAN 能否還能發(fā)揮余熱?從我們前面提到的云計(jì)算中的存儲(chǔ)特點(diǎn)來(lái)看，SAN(存儲(chǔ)區(qū)域網(wǎng)絡(luò))產(chǎn)品就暴露出一些不適合的應(yīng)用場(chǎng)景,，畢竟 SAN 是面向集中式計(jì)算的架構(gòu),。另外，大家也都知道 SAN 產(chǎn)品一般不便宜(現(xiàn)在也有廠商在力推低端海量存儲(chǔ)產(chǎn)品,，后面會(huì)介紹),，而且，主機(jī)端如果用 HBA 卡,，也會(huì)進(jìn)一步提高成本；SAN 面向傳統(tǒng)企業(yè)應(yīng)用而設(shè)計(jì)的擴(kuò)展能力難以滿足云計(jì)算的需求,。 目前盡管已經(jīng)有一些企業(yè)在做集群存儲(chǔ)然后打包出售,，但相對(duì)還是在起步階段。至少現(xiàn)在還看不到真正集群 SAN 產(chǎn)品的出現(xiàn),。當(dāng)然,，如果對(duì)云計(jì)算的存儲(chǔ)部分不計(jì)成本的話，SAN 仍然可以在云計(jì)算中發(fā)揮一些作用,，這倒是中了存儲(chǔ)廠商的下懷,。 不管怎么說(shuō)，RAID 這個(gè) SAN 中的概念在云存儲(chǔ)中已經(jīng)絕對(duì)不適合了,。 集群 NAS 是否真的有機(jī)會(huì) ?有業(yè)界評(píng)論說(shuō)集群 NAS 可能會(huì)演變成云存儲(chǔ)的通用架構(gòu),，我懷疑這是不是 Sun 公司的宣傳手段，因?yàn)檫@事實(shí)上宣布了 ZFS 將是云存儲(chǔ)中的一個(gè)關(guān)鍵點(diǎn),。 從現(xiàn)有的情形看,，或許會(huì)有越來(lái)越多的在線存儲(chǔ)服務(wù)擁抱集群 NAS 。但這不代表集群 NAS 前途光明能夠在云存儲(chǔ)大展拳腳,。集群 NAS 最大的問(wèn)題是海量數(shù)據(jù)的尋址是個(gè)麻煩事兒,，然后是擴(kuò)展性與容錯(cuò)性的問(wèn)題，底層的容錯(cuò)性如果通過(guò)硬件來(lái)做,，那么成本無(wú)疑會(huì)上升,，這恐怕是企業(yè)不愿意接受的,。 分布式文件系統(tǒng)在開(kāi)源領(lǐng)域，以 MogileFS 為代表的分布式文件系統(tǒng)能夠用于一些相對(duì)規(guī)模較小的分布式存儲(chǔ)場(chǎng)景,，很多 Web 2.0 自己的分布式存儲(chǔ)就是借鑒 MogileFS 搭建的,，不過(guò)畢竟 MofileFS 的Meta 信息仍是集中存儲(chǔ)、管理的,，在更大規(guī)?？峙掠行┏粤Α?/p> 此外,，Kosmosfs（http://kosmosfs./）,、Lustre(http://www.) 等也都在不斷發(fā)展中，相信能夠給有興趣研究云存儲(chǔ)的技術(shù)人員一些借鑒,。也有一些軟件廠商將其專有的分布式文件系統(tǒng)和存儲(chǔ)打包在一起銷售,，而存儲(chǔ)廠商也有的在結(jié)合自己的存儲(chǔ)產(chǎn)品做一些嘗試。目前還很少有相對(duì)成熟度的東西進(jìn)入用戶視野,。 更多分布式文件系統(tǒng)列表參見(jiàn)維基百科的文件系統(tǒng)列表介紹,。 分布式文件系統(tǒng)舉例：擁抱開(kāi)源 Hadoop 的 HDFS盡管我們接觸不到 Google 大名鼎鼎的 GFS （Google File System），但我們能免費(fèi)獲取Hadoop 的 HDFS (Hadoop Distributed File System),。HDFS 相對(duì)上述的 ZFS 來(lái)說(shuō),，屬于專門針對(duì)廉價(jià)硬件設(shè)計(jì)的分布式文件系統(tǒng)，在軟件層內(nèi)置數(shù)據(jù)容錯(cuò)能力,。Hadoop 目前的案例多數(shù)用在數(shù)據(jù)分析與并行計(jì)算上,，倒是很少看到有支撐給互聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)服務(wù)，但相信隨著其在開(kāi)放環(huán)境中的快速成長(zhǎng),， Hadoop 將不斷壯大,。 （HDFS 架構(gòu)示意圖. from: http://hadoop./core/docs/current/hdfs_design.html 關(guān)于 Hadoop 也請(qǐng)參閱《程序員》雜志 2008年10月刊的文章。） 速成版存儲(chǔ)方案成本評(píng)估云計(jì)算中存儲(chǔ)的起步容量,，我們不妨按照 1PB 可用空間來(lái)準(zhǔn)備,。近年來(lái)，隨著磁介質(zhì)存儲(chǔ)能力的提升,，企業(yè)存儲(chǔ)的價(jià)格也是一降再降,，$2.00/GB 的底線早已突破，現(xiàn)在Sun 的Thumper 聲稱可以達(dá)到 $1.20/GB 的成本,。(注：企業(yè)存儲(chǔ)[不是個(gè)人消費(fèi)品]的磁盤價(jià)格一降再降,，而且有很重要的商業(yè)因素，具體的成本應(yīng)該還要更低一些,，只是不知道哪位朋友有更為準(zhǔn)確的數(shù)字) 粗略估算一下,，2PB 的原始容量成本大約是 250 萬(wàn)美元左右(List Price)。單位機(jī)柜空間密度最高的已經(jīng)能夠做到4U的機(jī)存儲(chǔ)48TB的原始容量(目前能看到密度最高的了),，這樣最小只需要大約 45 個(gè) 4U 的機(jī)柜空間,。其他方面,，加上本地的工業(yè)電力價(jià)格，大致的硬件總體開(kāi)銷還是可估量的,。軟件方面,，這個(gè)存儲(chǔ)本身是基于 Sun 的 ZFS，內(nèi)置的操作系統(tǒng),，成本也是可以控制的,。 山寨云存儲(chǔ)方案設(shè)想在山寨精神盛行的今天，沒(méi)準(zhǔn)兒已經(jīng)有人在搭建一套山寨版的云存儲(chǔ)方案呢,。比如目標(biāo)定在 1PB 可用容量,，預(yù)計(jì)至少需要如下的東西: 選擇廉價(jià)的刀片服務(wù)器(自己"生產(chǎn)"就不必了)，內(nèi)置足夠多的大硬盤,，硬盤速度無(wú)所謂,，預(yù)計(jì)每臺(tái)機(jī)器預(yù)裝4T容量(1T*4，壞了就整臺(tái)機(jī)器替換),，大約需要 500臺(tái)服務(wù)器,，總?cè)萘?PB，確保每一份數(shù)據(jù)都至少冗余在另外的物理機(jī)器上,，冗余后,，起碼能得到1PB容量(如果備份的數(shù)據(jù)啟用壓縮，沒(méi)準(zhǔn)兒能提供更多空間呢),。機(jī)架物理空間怕是需要 1000 U多一些,，每個(gè)標(biāo)準(zhǔn)機(jī)柜是42U，怎么也要準(zhǔn)備 25 個(gè)機(jī)架吧,，再加上網(wǎng)絡(luò)交換機(jī)什么的... 然后是電力與空調(diào)散熱問(wèn)題,。 再弄一套 Hadoop ,，定制一下跑起來(lái) ...當(dāng)然,，山寨與否，關(guān)鍵是拼技術(shù)團(tuán)隊(duì),，一味的拿來(lái)主義注定只能跟風(fēng),。 其實(shí)，這篇文章也是一篇山寨文,。 |
|
|
