PVFS描述
http:/parlweb.parl./pvfs/desc.html

PVFS使用視圖

上面的PVFS視圖現(xiàn)實(shí)了PVFS系統(tǒng)的節(jié)點(diǎn)分布圖，節(jié)點(diǎn)被分成,，計(jì)算節(jié)點(diǎn),，上面運(yùn)行應(yīng)用程序。
管理節(jié)點(diǎn)管理元數(shù)據(jù)，I/O節(jié)點(diǎn)存儲PVFS文件系統(tǒng)的文件,。管理節(jié)點(diǎn)與I/O節(jié)點(diǎn)也可能被用來計(jì)算,。
全看管理員。對于小的集群這些節(jié)點(diǎn)功能可重疊以維持資源的利用率,。大的集群上I/O于metadata
最好放在不同的節(jié)點(diǎn)上,。
PVFS系統(tǒng)有4個(gè)主要的模塊：
×元數(shù)據(jù)服務(wù)器(mgr)
×I/O服務(wù)器(iod)
×PVFS本地API(libpvfs)
×PVFS Linux內(nèi)核支持
第一二個(gè)模塊是在Linux節(jié)點(diǎn)上運(yùn)行的后臺進(jìn)程。元數(shù)據(jù)服務(wù)器,，稱為mgr,，管理著PVFS文件的
元數(shù)據(jù)。元數(shù)據(jù)是文件的描述,，比如名字,，所存放的目錄層次，所有者,，和在系統(tǒng)節(jié)點(diǎn)中的分布,。
通過一個(gè)自動的后臺進(jìn)程我們避免了許多網(wǎng)絡(luò)存儲的缺點(diǎn)。訪問中存在復(fù)雜的鎖操作為的是在很多訪
問時(shí)保持文件的一致性,。
第二個(gè)后臺進(jìn)程是I/O節(jié)點(diǎn)或iod,。I/O服務(wù)器存放和重得文件數(shù)據(jù)存儲于連接于節(jié)點(diǎn)上的本地
硬盤上。這些服務(wù)器在本地節(jié)點(diǎn)上創(chuàng)造真實(shí)的存在的文件,。
它們使用傳統(tǒng)的read(),write()和mmap()訪問這些文件,。這意味著能使用像本地文件一樣的
格式來存儲數(shù)據(jù)。比如ext2,ext3,。另外你可以使用軟件或硬件的RAID來支持節(jié)點(diǎn)容錯(cuò)和創(chuàng)建異常
大的文件,。

metadata Access視圖

data access視圖

就像前面提及PVFS本地API提供用戶訪問權(quán)給服務(wù)器。這些類庫提供了分散聚集數(shù)據(jù)于用戶緩存
與PVFS服務(wù)器之間的操作,。這些操作對用戶保持透明的,。上面圖顯示了PVFS元數(shù)據(jù)和文件操作的數(shù)據(jù)
流動。對于元數(shù)據(jù)操作,，應(yīng)用與元數(shù)據(jù)服務(wù)器通訊通過使用類庫,。對于數(shù)據(jù)操作和數(shù)據(jù)服務(wù)器被排除
替而帶之的是直接于I/O服務(wù)器聯(lián)系。這是性能的關(guān)鍵,。
最后PVFS提供Linux內(nèi)核模塊是Linux上能安裝PVFS文件系統(tǒng),。這使得現(xiàn)在的程序直接訪問PVFS
文件而無需任何改動。這個(gè)支持對應(yīng)用程序不是必須的使用PVFS的方法,。不過它提供一個(gè)極方便的方
法給影響到系統(tǒng),。PVFS內(nèi)核模塊支持包括一個(gè)可裝載的模塊。一個(gè)可選的內(nèi)核補(bǔ)丁排除了內(nèi)核拷貝,，
一個(gè)后臺進(jìn)程pvfsd以為應(yīng)用程序提供訪問PVFS文件系統(tǒng),。它用的是libpvfs的函數(shù)來執(zhí)行這些操作,。

視圖

上圖顯示了數(shù)據(jù)通過內(nèi)核流向，當(dāng)Linux內(nèi)核支持被使用,。這個(gè)機(jī)制和coda文件系統(tǒng)中使用方式
相類似,。（在我們設(shè)計(jì)的系統(tǒng)上coda應(yīng)用作為一個(gè)實(shí)例）操作通過系統(tǒng)調(diào)用傳到linux的PVFS層。在這
里是一個(gè)pvfsd服務(wù)的隊(duì)列,。這pvfsd通過設(shè)備文件接受操作,。然后設(shè)備文件與PVFS服務(wù)器通訊取得
數(shù)據(jù)，通過內(nèi)核傳遞到應(yīng)用程序,。

應(yīng)用程序接口：
為了使任何文件系統(tǒng)可用,，方便的接口必須可用。這個(gè)問題對并行應(yīng)用特別重要,。這些應(yīng)用對文件
系統(tǒng)有大量的需求,。為了滿足這些眾多的組合，有三個(gè)接口PVFS能夠訪問,。
×PVFS本地API
×Linux內(nèi)核接口
×ROMIO,MPI-IO接口
PVFS本地API提供一個(gè)類似Unix接口給PVFS文件訪問,。它同樣允許用戶指定文件在PVFS文件系統(tǒng)I/O
節(jié)點(diǎn)條狀分布。Linux內(nèi)核接口,。就像早先討論過的,。允許用戶可通過傳統(tǒng)通道訪問PVFS文件系統(tǒng)。這
使得用戶使用所有普通的功能執(zhí)行每天的數(shù)據(jù)處理,，PVFS文件系統(tǒng),，臨時(shí)數(shù)據(jù)存儲。
ROMIO執(zhí)行MPI IO調(diào)用在一個(gè)輕量級的類庫中,，這允許并行程序使用MPI去訪問PVFS文件,，通過MPIIO
接口。另外,，ROM-IO使用了兩個(gè)優(yōu)化：數(shù)據(jù)篩選,，二階段集體I/O，這樣有利于提高性能,。更多的資訊
在ROMIO包和ROMIO網(wǎng)頁中三個(gè)優(yōu)化的描述,。

性能：
開始二個(gè)PVFS系統(tǒng)最重要的目標(biāo)是高性能和可測量性。集群增大時(shí),，高性能并行I/O支持非常重要,。
我們工作是弄清楚PVFS將持續(xù)滿足這些新的需求。
這里我們概要了PVFS本地API的性能,，在chiba city集群上運(yùn)行有256個(gè)雙處理器的節(jié)點(diǎn),。二中互連
的系統(tǒng)，快速以太網(wǎng)和Myrient網(wǎng)絡(luò),。我們將顯示分別在這些網(wǎng)絡(luò)上訪問數(shù)據(jù)的性能,。

視圖

在上面的圖中我們可看見快速以太網(wǎng)總計(jì)的性能。圖上顯示24個(gè)I/O節(jié)點(diǎn)后性能下降,。這有可能是
tcp在快速以太網(wǎng)上,，和超出了以太網(wǎng)承受能力。但是網(wǎng)絡(luò)的結(jié)構(gòu)和選擇I/O服務(wù)器布置也可能遵守一定
的規(guī)則,。
在第二組測試中我們看Myrient上的性能,。使用總Myrient帶寬與I/O節(jié)點(diǎn)類似來表示性能。PVFS性能
攀升在已經(jīng)作的測試中性能攀升表現(xiàn)很好,。

PVFS開發(fā)人員區(qū)域：
為PVFS作貢獻(xiàn)：
我們常尋找對PVFS工程的幫助,。如果你有任何主意，建議,，錯(cuò)誤報(bào)告,，錯(cuò)誤修復(fù)，或者向要一個(gè)新
功能,，請讓我們知道,。PVFS持GPL許可證，原代碼是公開的,，如果你有對你有點(diǎn)幫助或想簡單的跟蹤本工
程請使用下文,。
我們打算搞一個(gè)活動的建議列表，為了PVFS研究者或?qū)こ特暙I(xiàn)的人,，你可以查看這個(gè)列表,。

PVFS的郵件列表：
我們提供二個(gè)PVFS討論郵件列表。PVFS用戶和PVFS開發(fā)者,，你能參加其中一個(gè)或全部,。
http://parlweb.parl./pvfs/pvfs-list.html
用開發(fā)人員列表是最好的保持與我們聯(lián)絡(luò)的方式。如果你想為PVFS作貢獻(xiàn),。如果你想提供補(bǔ)丁或討論
任何與PVFS發(fā)展有關(guān)的事情,。請?jiān)谶@里遞交你的郵件。 匿名CVS的訪問：
我們使用CVS管理所有PVFS的原代碼,。為了得到更多如何使用CVS的信息,，請參考你本地支持或參觀
CVS網(wǎng)站。我們提供了所有用戶能讀PVFS原代碼的權(quán)限,。
訪問CVS庫是對PVFS實(shí)驗(yàn)與開發(fā)新功能感興趣的人提供的,。我們無法保證CVS中的代碼都能使用，或
你的數(shù)據(jù)在使用它后是安全的,。我們不為那些沒有使用已知穩(wěn)定的版本提供支持,。注意你已經(jīng)被警告了！
我們經(jīng)常會制作穩(wěn)定的版本,，你能在http://parlweb.parl./pvfs/files.html找到,。這個(gè)才
是你要這樣的每天使用的代碼,。如果，你還沒有被恐嚇嚇倒,，下面列出了如何得到最近的cvs.parl.clemosn.edu
的CVS版本,。

檢驗(yàn)最近的PVFS和PVFS內(nèi)核原代碼：

cvs -d : pserver:[email protected].:/anoncvs login 任何密碼

cvs -d : pserver:[email protected].:/anoncvs co pvfs

cvs -d : pserver:[email protected].:/anoncvs co pvfs -kernal

cvs -d : pserver:[email protected].:/anoncvs logout

*升級你的合格的代碼到最近改變的CVS（這個(gè)必須在已經(jīng)檢查的目錄中作）
cvs -d :pserver:[email protected].:/anoncvs login （任何密碼）

cvs -d :pserver:[email protected].:/anoncvs update -P -d

cvs -d :pserver:[email protected].:/anoncvs logout