PBS是功能最為齊全，歷史最悠久,，支持最廣泛的本地集群調(diào)度器之一,。 PBS的目前包括openPBS，PBS Pro和Torque三個(gè)主要分支,。其中OpenPBS是最早的PBS系統(tǒng),，目前已經(jīng)沒有太多后續(xù)開發(fā)，PBS pro是PBS的商業(yè)版本,，功能最為豐富,。Torque是Clustering公司接過了OpenPBS，并給與后續(xù)支持的一個(gè)開源版本,。

下面是本人安裝torque的過程,。

一、Torque安裝

在master（管理結(jié)點(diǎn)上）

1,、解壓安裝包

[root@master tmp]# tar zxvf torque-2.3.0.tar.gz

2,、進(jìn)入到解壓后的文件夾

./configure --with-default-server=master

make

make install

3、

（1）[root@master torque-2.3.0]#./torque.setup <user>

<user>必須是個(gè)普通用戶

（2）[root@master torque-2.3.0]#make packages

把產(chǎn)生的 tpackages , torque-package-clients-linux-x86-64.sh,

torque-package-mom-linux-x86-64.sh 拷貝到所有節(jié)點(diǎn),。

（3）[root@master torque-2.3.0]# ./torque-package-clients-linux-x86_64.sh --install

[root@master torque-2.3.0]# ./torque-package-mom-linux-x86_64.sh --install

（4）編輯/var/spool/torque/server_priv/nodes （需要自己建立）

加入如下內(nèi)容

master np=4

node01 np=4

........

node09 np=4

（5）啟動pbs_server,pbs_sched,pbs_mom,并把其寫到/etc/rc.local里使其能開機(jī)自啟動,。

（6）創(chuàng)建隊(duì)列

[root@master ~]# qmgr

create queue students

set queue students queue_type = Execution

set queue students Priority = 40

set queue students resources_max.cput = 96:00:00

set queue students resources_min.cput = 00:00:01

set queue students resources_default.cput = 96:00:00

set queue students enabled = True

set queue students started = True

4、在node0x （x=1-9,計(jì)算結(jié)點(diǎn)上）

[root@node0x torque-2.3.0]# ./torque-package-clients-linux-x86_64.sh --install

[root@node0x torque-2.3.0]# ./torque-package-mom-linux-x86_64.sh --install

然后啟動pbs_mom ,把pbs_mom寫入/etc/rc.local

二,、Torque PBS使用

1,、創(chuàng)建用戶

在master的root下

useradd test

passwd test

輸入test密碼

到/var/yp下make一下

2、配置普通用戶的ssh

su test

cd

ssh-keygen -t dsa

cd .ssh

cat id_pub.dsa >>authorized_keys

chmod 600 authorized_keys

3,、編寫作業(yè)腳本

[test1@master t]vi pbsjob

#!/bin/tcsh

#PBS -o /home/test1/pbstest/t/output 標(biāo)準(zhǔn)輸出文件

#PBS -e /home/test1/pbstest/t/error 錯(cuò)誤輸出文件

#PBS -l nodes=5:ppn=4 規(guī)定使用的節(jié)點(diǎn)數(shù)以及每個(gè)節(jié)點(diǎn)能跑多少核

#PBS –q students 把任務(wù)提交到students隊(duì)列中

cd $PBS_O_WORKDIR 到工作目錄下（此為PBS提供的環(huán)境變量）

mpirun –machine $PBS_NODEFILE -np 20 ./vasp

4,、啟動mpd

mpdboot -n 10 -f mfa

mfa內(nèi)容：

master:4

node01:4

….

node09:4

5、提交,，查詢,，刪除作業(yè)

提交作業(yè)：qsub pbsjob

作業(yè)提交后會有一個(gè)作業(yè)號

[test1@master pbstest]$ qsub pbsjob

48.master

查詢作業(yè)：qstat

[test1@master pbstest]$ qstat

Job id Name User Time Use S Queue

------------------------- ---------------- --------------- -------- - -------------------------------

48.master pbstest test1 00:00:00 R students

刪除作業(yè)：qdel 作業(yè)號

[test1@master pbstest]$ qdel 48

鏈接http://hi.baidu.com/danganxi521/blog/item/2b23c03db6cea1e93c6d975f.html/cmtid/b4f2450700f2e5c77b89478f

（二）PBS腳本使用

qsub -N Relax -l nodes=1:ppn=8 pbs

#!/bin/sh

VASP="/home/user15/soft/mpi/bin/mpirun -machinefile $PBS_NODEFILE -np 8 avasp < /dev/null "

i=36

times=1000

while((i<=times))

do

cp RStru_$i POSCAR

rm WAVECAR CHG*

./produKPTS.x

$VASP

cp CONTCAR POSCAR

rm WAVECAR CHG*

./produKPTS.x

$VASP

cp CONTCAR POSCAR

rm WAVECAR CHG*

./produKPTS.x

$VASP

cp CONTCAR pos.$i

cp OUTCAR out.$i

let i=i+1

done

cd /temp/user15/RST1000

./relax.sh >& log

（三）pbs常用命令和選項(xiàng)

一、基本選項(xiàng)

pbs是Protable Batch System的縮寫,，是一個(gè)任務(wù)管理系統(tǒng),。當(dāng)多個(gè)用戶使用同一個(gè)計(jì)算資源時(shí),，每個(gè)用戶用PBS腳本提交自己的任務(wù)，由PBS對這些任務(wù)進(jìn)行管理和資源的分配,。下面是一個(gè)簡單的PBS腳本：
#PBS -l nodes=20
#PBS -N snaphu
#PBS -j oe
#PBS -l walltime=24:00:00
#PBS -l cput=1:00:00
#PBS -q dque

cd $PBS_O_WORKDIR
cat $PBS_NODEFILE $PBS_NODEFILE> NODEFILE

mpirun -hostfile NODEFILE -np `cat NODEFILE |wc -l` ./mpiTest

將這個(gè)腳本保存成submit
然后qsub submit就將這個(gè)mpiTest的任務(wù)提交給了系統(tǒng),。
腳本中#PBS為腳本選項(xiàng)，用于設(shè)置一些參數(shù),。
#PBS -l表示資源列表,，用于設(shè)定特定任務(wù)所需的一些參數(shù)。這里的NODES表示并行環(huán)境下可以使用的節(jié)點(diǎn)數(shù),，而walltime表示任務(wù)最大時(shí)限,，而cput 表示cpu時(shí)間的最大時(shí)限，運(yùn)行時(shí)間和cpu使用時(shí)間超過對應(yīng)的時(shí)限,，任務(wù)就會以超時(shí)退出,。這三個(gè)參數(shù)不是PBS腳本參數(shù)，而是并行環(huán)境所需的參數(shù),。
#PBS -N表示任務(wù)名稱
#PBS -j表示系統(tǒng)輸出,，如果是oe，則標(biāo)準(zhǔn)錯(cuò)誤輸出(stderr)和標(biāo)準(zhǔn)輸出(stdout)合并為stdout,，如果是eo,，則合并為stderr，如果沒有設(shè)定或設(shè)定為n,，則stderr和stdout分開,。
#PBS -q表示當(dāng)前任務(wù)選用的隊(duì)列。在并行環(huán)境下,，一個(gè)系統(tǒng)中往往有多個(gè)隊(duì)列,，任務(wù)提交后，將在所選的隊(duì)列中排除等候,。系統(tǒng)中有哪些隊(duì)列可以用qstat -q查看,。


二、簡單命令

任務(wù)提交后,，需要查看任務(wù)信息和環(huán)境信息,，有如下常用命令。
qstat 查看本用戶提交的任務(wù)
qstat -n 同上,，輸出內(nèi)容稍有不同
qstat -q 查看系統(tǒng)中所有的隊(duì)列,，以及每個(gè)隊(duì)列中任務(wù)的運(yùn)行和等候情況。
showq 查看系統(tǒng)中所有運(yùn)行的任務(wù),。
qdel id 刪除JOBNAME為id的任務(wù),。該任務(wù)如果在等待，則可以有這個(gè)命令刪除,，如果已經(jīng)開始運(yùn)行,，則無法刪除,。

三、參數(shù)傳遞

qsub submit -l nodes=4 -v x=1,y=2
其中,，-l nodes=4本來就是一個(gè)#PBS選項(xiàng),，既可以放在submit文件中，又可以放到命令行上,。
-v x=1,y=2為一個(gè)變量列表，和shell命令一樣,，在submit文件中可以用$x,$y來調(diào)用這兩值

鏈接http://hi.baidu.com/pkuwwt/blog/item/d6e094b1b910df5c0923022f.html

（四）PBS 命令與使用

PBS(Portable Batch System)是由NASA開發(fā)的靈活的批處理系統(tǒng),。它被用于集群系統(tǒng)、超級計(jì)算機(jī)和大規(guī)模并行系統(tǒng),。PBS主要有如下特征：

• 易用性：為所有的資源提供統(tǒng)一的接口,，易于配置以滿足不同系統(tǒng)的需求，靈活的作業(yè)調(diào)度器允許不同系統(tǒng)采用自己的調(diào)度策略,。
• 移植性：符合POSIX 1003.2標(biāo)準(zhǔn),，可以用于shell和批處理等各種環(huán)境。
• 適配性：可以適配與各種管理策略,，并提供可擴(kuò)展的認(rèn)證和安全模型,。支持廣域網(wǎng)上的負(fù)載的動態(tài)分發(fā)和建立在多個(gè)物理位置不同的實(shí)體上的虛擬組織。
• 靈活性：支持交互和批處理作業(yè),。

OpenPBS( http://www.OpenPBS.org/)是PBS的Open Source的實(shí)現(xiàn),。商業(yè)版本的PBS可以參照： http://www./。

1,、PBS命令

PBS提供4條命令用于作業(yè)管理,。

(1) qsub 命令—用于提交作業(yè)腳本

命令格式：

qsub [-a date_time] [-c interval] [-C directive_prefix]

[-e path] [-I] [-j join] [-k keep] [-l resource_list] [-m mail_options]

[-M user_list][-N name] [-o path] [-p priority] [-q destination] [-r c]

[-S path_list] [-u user_list][-v variable_list] [-V]

[-W additional_attributes] [-z]

[script]

參數(shù)說明：因?yàn)樗捎玫倪x項(xiàng)一般放在pbs腳本中提交，所以具體見PBS腳本選項(xiàng),。

例：# qsub aaa.pbs 提交某作業(yè),，系統(tǒng)將產(chǎn)生一個(gè)作業(yè)號

(2) qstat 命令—用于查詢作業(yè)狀態(tài)信息

命令格式：qatat [-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]

參數(shù)說明：

-f jobid 列出指定作業(yè)的信息

-a 列出系統(tǒng)所有作業(yè)

-i 列出不在運(yùn)行的作業(yè)

-n 列出分配給此作業(yè)的結(jié)點(diǎn)

-s 列出隊(duì)列管理員與scheduler所提供的建議

-R 列出磁盤預(yù)留信息

-Q 操作符是destination id，指明請求的是隊(duì)列狀態(tài)

-q 列出隊(duì)列狀態(tài),，并以alternative形式顯示

-au userid 列出指定用戶的所有作業(yè)

-B 列出PBS Server信息

-r 列出所有正在運(yùn)行的作業(yè)

-Qf queue 列出指定隊(duì)列的信息

-u 若操作符為作業(yè)號,，則列出其狀態(tài)。

若操作符為destination id,，則列出運(yùn)行在其上的屬于user_list中用戶的作業(yè)狀態(tài),。

例：# qstat -f 211 查詢作業(yè)號為211的作業(yè)的具體信息。

(3) qdel 命令—用于刪除已提交的作業(yè)

命令格式：qdel [-W 間隔時(shí)間] 作業(yè)號

命令行參數(shù)：

例：# qdel -W 15 211 15秒后刪除作業(yè)號為211的作業(yè)

(4) qmgr 命令—用于隊(duì)列管理

qmgr -c "create queue batch queue_type=execution"

qmgr -c "set queue batch started=true"

qmgr -c "set queue batch enabled=true"

qmgr -c "set queue batch resources_default.nodes=1"

qmgr -c "set queue batch resources_default.walltime=3600"

qmgr -c "set server default_queue=batch"

2,、PBS腳本文件

PBS腳本文件由腳本選項(xiàng)和運(yùn)行腳本兩部分組成,。

(1) PBS作業(yè)腳本選項(xiàng) （若無-C選項(xiàng)，則每項(xiàng)前面加‘#PBS’）

-a date_time ： date_time格式為：[[[[CC]YY]MM]DD]hhmm[.SS]

表示經(jīng)過date_time時(shí)間后作業(yè)才可以運(yùn)行,。

-c interval ：定義作業(yè)的檢查點(diǎn)間隔,，如果機(jī)器不支持檢查點(diǎn),，則忽略此選項(xiàng)。

-C directive_prefix ：在腳本文件中以directive_prefix開頭的行解釋為qsub的命

令選項(xiàng),。（若無此選項(xiàng),，則默認(rèn)為’#PBS’ ）

-e path ：將標(biāo)準(zhǔn)錯(cuò)誤信息重定向到path

-I ：以交互方式運(yùn)行

-j join ：將標(biāo)準(zhǔn)輸出信息與標(biāo)準(zhǔn)錯(cuò)誤信息合并到一個(gè)文件join中去。

-k keep ：定義在執(zhí)行結(jié)點(diǎn)上保留標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤信息中的哪個(gè)文件,。

keep為o 表示保留前者,，e表示后者，oe或eo表示二者都保留,，

n表示皆不保留,。若忽略此選項(xiàng)，二者都不保留,。

-l resource_list ： 定義資源列表,。以下為幾個(gè)常用的資源種類。

cput=N ： 請求N秒的CPU時(shí)間; N也可以是hh:mm:ss的形式,。

mem=N[K|M|G][B|W]：請求N {kilo|mega|giga}{bytes|words} 大小的內(nèi)存,。

nodes=N:ppn=M ：請求N個(gè)結(jié)點(diǎn)，每個(gè)結(jié)點(diǎn)M個(gè)處理器,。

-m mail_options ：mail_option為a：作業(yè)abort時(shí)給用戶發(fā)信,；為b：作業(yè)開始運(yùn)行發(fā)信；為e：作業(yè)結(jié)束運(yùn)行時(shí)發(fā)信,。若無此選項(xiàng),，默認(rèn)為a。

-M user_list ：定義有關(guān)此作業(yè)的mail發(fā)給哪些用戶,。

-N name ： 作業(yè)名,，限15個(gè)字符，首字符為字母,，無空格,。

-o path ：重定向標(biāo)準(zhǔn)輸出到path。

-p priority ： 任務(wù)優(yōu)先級,，整數(shù),，[-1024，1023],，若無定義則為0.

-q destination ： destination有三種形式： queue , @server,queue@server,。

-r y|n ： 指明作業(yè)是否可運(yùn)行，y為可運(yùn)行,，n為不可運(yùn)行,。

-S shell ：指明執(zhí)行運(yùn)行腳本所用的shell，須包含全路徑,。

-u user_list ：定義作業(yè)將在運(yùn)行結(jié)點(diǎn)上以哪個(gè)用戶名來運(yùn)行,。

-v variable_list ：定義export到本作業(yè)的環(huán)境變量的擴(kuò)展列表,。

-V ：表明qsub命令的所有環(huán)境變量都export到此作業(yè)。

-W additional_attributes ： 作業(yè)的其它屬性,。

-z ：指明qsub命令提交作業(yè)后,，不在終端顯示作業(yè)號。

(2) 運(yùn)行腳本同LINUX下一般的運(yùn)行腳本文件,。

[注]：腳本文件中的mpirun_rsh命令行中的節(jié)點(diǎn)列表文件要用環(huán)境變量表示

$PBS_NODEFILE,，這個(gè)環(huán)境變量表示由pbs自動分配給作業(yè)的節(jié)點(diǎn)列表；

節(jié)點(diǎn)數(shù)為命令行中指定的進(jìn)程數(shù),。

格式如下：

mpirun_rsh –np 進(jìn)程數(shù) –hostfile $PBS_NODEFILE 可執(zhí)行程序名

命令詳解如下：

鏈接http://blog./u1/34200/showart_1880946.html

（五）GM并行作業(yè)提交PBS腳本

PBS模板腳本文件路徑為：/export/home/pbs/mpich-gm.pbs.pbs

按照如下示例文件,，建立pbs作業(yè)提交腳本，修改紅色的部分即可,。

#LJRS -S /bin/bash

#LJRS -o script.out

#LJRS -j oe

#LJRS -q dpool

#LJRS -l nodes=8:ppn=1 （nodes：計(jì)算節(jié)點(diǎn)數(shù)，ppn：計(jì)算節(jié)點(diǎn)CPU數(shù)）

#LJRS -l walltime=48:00:00 （用戶估計(jì)的最大計(jì)算時(shí)間,，超時(shí)系統(tǒng)會自動中斷作業(yè)）

limit -s unlimited

TMPFILE=`whoami`_mpich_gm.tmp

sed 's/c/g/g' $LJRS_NODEFILE > /tmp/$TMPFILE

GM_NODEFILE=/tmp/$TMPFILE

echo Working directory is $LJRS_O_WORKDIR

cd $LJRS_O_WORKDIR

echo Runing on host `hostname`

echo Starting Time is `date`

echo Directory is `pwd`

echo This jobs runs on the following processors:

echo `cat $GM_NODEFILE`

NPROCS=`wc -l < $GM_NODEFILE`

echo This job has allocated $NPROCS nodes

## User Parallel Program ###########

mpirun -v -machinefile $GM_NODEFILE -np $NPROCS ~/my_parallel.exe > out （修改為用戶的并行作業(yè)執(zhí)行命令）

####################################

rm -f /tmp/$TMPFILE

鏈接http://cftcc./show.aspx?id=25&cid=12

echo Ending Time is `date`