|
批量同步、批量更新,，這應(yīng)該是做運維的朋友們經(jīng)常做的工作,，rsync是linux下一款非常強大的同步工具，采用差異同步的方法,，只上傳文件/文件夾的不同部分,，同時可以對上傳部分先進行壓縮，所以rsync的傳輸效率是很高的但rsync也有缺點,，最大的問題就是每次執(zhí)行rsync命令都會遍歷目標目錄,，當文件不多時，這沒什么問題,，一旦文件數(shù)到了一定規(guī)模,，那么每次遍歷都會消耗很多資源，如果只對經(jīng)常改動的目錄進行同步，也可以忽略這個問題,，如果每次改動的目錄多較大,，那么就要用到inotify了，Inotify是一種強大的,、細粒度的,、異步的文件系統(tǒng)事件監(jiān)控機制，Linux內(nèi)核從2.6.13起,，加入了對Inotify的支持,，通過Inotify可以監(jiān)控文件系統(tǒng)中的添加、刪除,、修改,、移動等各種事件，但inotify只提供了C語言接口,，不方便調(diào)用,，所以我們需要先安裝inotify-tools
一、系統(tǒng)環(huán)境：
CentOS_5.7-x86_64
更新源服務(wù)器：192.168.9.227
目的服務(wù)器：192.168.9.226 192.168.9.228 ... ...
二,、目的服務(wù)器配置:192.168.9.226 192.168.9.228（rsync服務(wù)端）：
1,、檢查rsync是否安裝
- rpm -qa|grep rsync
如果沒有發(fā)裝，執(zhí)以下命令進行安裝
- yum -y install rsync
2,、定義rsync配置文件/etc/rsyncd.conf
192.168.9.226:
- cat >> /etc/rsyncd.conf << EOF
- uid = nobody
- gid = nobody
- use chroot = no
- max connections = 100
- timeout = 600
- pid file = /var/run/rsyncd.pid
- lock file = /var/run/rsyncd.lock
- log file = /var/log/rsyncd.log
- [web1]
- path = /data/www1/
- ignore errors
- read only = no
- list = no
- hosts allow = 192.168.9.0/255.255.255.0
- auth users = www1
- secrets file = /etc/www1.pwd
- EOF
192.168.9.228:
- cat >> /etc/rsyncd.conf << EOF
- uid = nobody
- gid = nobody
- use chroot = no
- max connections = 100
- timeout = 600
- pid file = /var/run/rsyncd.pid
- lock file = /var/run/rsyncd.lock
- log file = /var/log/rsyncd.log
- [web2]
- path = /data/www2/
- ignore errors
- read only = no
- list = no
- hosts allow = 192.168.9.0/255.255.255.0
- auth users = www2
- secrets file = /etc/www2.pwd
- EOF
3,、rsyncd.conf配置文件詳解
uid = nobody //運行RSYNC守護進程的用戶
gid = nobody //運行RSYNC守護進程的組
use chroot = 0 //不使用chroot
max connections = 0 // 最大連接數(shù),0為不限制
port = 873 //默認端口873
下面這些文件是安裝完RSYNC服務(wù)后自動生成的文件
pid file = /var/run/rsyncd.pid //pid文件的存放位置
lock file = /var/run/rsync.lock //鎖文件的存放位置.指定支持max connections參數(shù)的鎖文件,默認值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log //日志記錄文件的存放位置
Timeout = 300
通過該選項可以覆蓋客戶指定的IP超時時間.通過該選項可以確保rsync服務(wù)器不會永遠等待一個崩潰的客戶端.超時單位為秒鐘,0表示沒有超時定義,這也是默認值.對于匿名rsync服務(wù)器來說,一個理想的數(shù)字是600.
Log format = %t %a %m %f %b
通過該選項用戶在使用transfer logging可以自己定制日志文件的字段.其格式是一個包含格式定義符的字符串,可以使用的格式定義符如下所示：
%h 遠程主機名
%a 遠程IP地址
%l 文件長度字符數(shù)
%p 該次rsync會話的進程id
%o 操作類型：" send" 或" recv"
%f 文件名
%P 模塊路徑
%m 模塊名
%t 當前時間
%u 認證的用戶名(匿名時是null)
%b 實際傳輸?shù)淖止?jié)數(shù)
%c 當發(fā)送文件時,該字段記錄該文件的校驗碼
默認log格式為：" %o %h [%a] %m (%u) %f %l" ,一般來說,在每行的頭上會添加" %t [%p] " .在源代碼中同時發(fā)布有一個叫rsyncstats的perl腳本程序來統(tǒng)計這種格式的日志文件.
#transfer logging = yes
使rsync服務(wù)器使用ftp格式的文件來記錄下載和上載操作在自己單獨的日志中.
syslog facility = local3
指定rsync發(fā)送日志消息給syslog時的消息級別,常見的消息級別是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默認值是daemon.
模塊參數(shù)
[web1] //這里是認證的模塊名,在client端需要指定
path = /data/www1/ //需要做鏡像的目錄,不可缺少！
comment = backup web //這個模塊的注釋信息
ignore errors //可以忽略一些無關(guān)的IO錯誤
read only = yes //該選項設(shè)定是否允許客戶上載文件.如果為true那么任何上載請求都會失敗,如果為false并且服務(wù)器目錄讀寫權(quán)限允許那么上載是允許的.默認值為true.
list = no //不允許列文件
auth users = bak //認證的用戶名,如果沒有這行則表明是匿名,此用戶與系統(tǒng)無關(guān)
該選項指定由空格或逗號分隔的用戶名列表,只有這些用戶才允許連接該模塊.這里的用戶和系統(tǒng)用戶沒有任何關(guān)系.如果" auth users" 被設(shè)置,那么客戶端發(fā)出對該模塊的連接請求以后會被rsync請求challenged進行驗證身份這里使用的challenge/response認證協(xié)議.用戶的名和密碼以明文方式存放在" secrets file" 選項指定的文件中.默認情況下無需密碼就可以連接模塊(也就是匿名方式).
secrets file = /etc/www1.pwd //密碼和用戶名對比表,密碼文件自己生成
該選項指定一個包含定義用戶名:密碼對的文件.只有在" auth users" 被定義時,該文件才有作用.文件每行包含一個username:passwd對.一般來說密碼最好不要超過8個字符.沒有默認的secures file名,需要限式指定一個(例如：/etc/www1.pwd).注意：該文件的權(quán)限一定要是600,否則客戶端將不能連接服務(wù)器.
hosts allow = 192.168.9.0/255.255.255.0 //允許主機或網(wǎng)段
該選項指定哪些IP的客戶允許連接該模塊.客戶模式定義可以是以下形式：
單個IP地址,例如：192.168.9.227
整個網(wǎng)段,例如：192.168.9.0/24,也可以是192.168.9.0/255.255.255.0
多個IP或網(wǎng)段需要用空格隔開,“*”則表示所有,默認是允許所有主機連接.
hosts deny = 0.0.0.0/0 //禁止主機
4,、建立認證文件/etc/www1.pwd ,此文件須與配置文件中指定文件名保持一致
此處格式為：username:password,安全問題,并不建議實際使用中使用root用戶
192.168.9.226:
- echo "www1:741852" >> /etc/www1.pwd
192.168.9.228:
- echo "www2:951753" >> /etc/www2.pwd
并且我們需要設(shè)置此文件的權(quán)限為600
- chmod 600 /etc/www1.pwd
- chmod 600 /etc/www2.pwd
- chmod 600 /etc/rsyncd.conf
5,、建立motd文件（可有可無）
rsyncd.motd記錄了rsync服務(wù)的歡迎信息,你可以在其中輸入任何文本信息,如：
- echo "Welcome to use the rsync services!" >> /var/rsyncd.motd
6、啟動rsync
- /usr/bin/rsync --daemon
-
- echo "/usr/bin/rsync --daemon" >> /etc/rc.local
三,、更新源服務(wù)器配置:192.168.9.227 （rsync客戶端）
1,、inotify 可以監(jiān)視的文件系統(tǒng)事件包括：
IN_ACCESS，即文件被訪問
IN_MODIFY,，文件被 write
IN_ATTRIB,，文件屬性被修改，如 chmod,、chown、touch 等
IN_CLOSE_WRITE,，可寫文件被 close
IN_CLOSE_NOWRITE,，不可寫文件被 close
IN_OPEN，文件被 open
IN_MOVED_FROM,，文件被移走,如 mv
IN_MOVED_TO,，文件被移來，如 mv、cp
IN_CREATE,，創(chuàng)建新文件
IN_DELETE,，文件被刪除，如 rm
IN_DELETE_SELF,，自刪除,，即一個可執(zhí)行文件在執(zhí)行時刪除自己
IN_MOVE_SELF，自移動,，即一個可執(zhí)行文件在執(zhí)行時移動自己
IN_UNMOUNT,，宿主文件系統(tǒng)被 umount
IN_CLOSE，文件被關(guān)閉,，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE,，文件被移動，等同于(IN_MOVED_FROM | IN_MOVED_TO)
注：上面所說的文件也包括目錄,。
2,、安裝inotify-tools
在安裝inotify-tools前請先確認你的linux內(nèi)核是否打到了2.6.13，并且在編譯時開啟了CONFIG_INOTIFY選項,，也可以通過以下命令檢測
- ls /proc/sys/fs/inotify
如果有 max_queued_events,，max_user_instances，max_user_watches 三項就說明支持
- wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
- tar xvf inotify-tools-3.14.tar.gz
- cd inotify-tools-3.14
- ./configure
- make;make install
3,、編寫rsync監(jiān)控腳本
- vi /root/rsync.sh
-m,， 即--monitor，表示始終保持事件監(jiān)聽狀態(tài),。
- #!/bin/bash
- host1=192.168.9.226
- host2=192.168.9.228
- src=/data/www/
- des1=web1
- des2=web2
- user1=www1
- user2=www2
-
- /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \
- -e modify,delete,create,attrib \
- ${src} \
- | while read file
- do
- rsync -vzrtopg --delete --progress ${src} ${user1}@${host1}::${des1} --password-file=/etc/www1.pwd &&
- rsync -vzrtopg --delete --progress ${src} ${user2}@${host2}::${des2} --password-file=/etc/www2.pwd &&
- echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
- echo "---------------------------------------------------------------------------"
- done
-r,， 即--recursive，表示遞歸查詢目錄,。
-q,， 即--quiet，表示打印出監(jiān)控事件,。
-e,， 即--event，通過此參數(shù)可以指定要監(jiān)控的事件,，常見的事件有modify,、delete、create,、attrib等
--timefmt：指定時間的輸出格式
--format：指定變化文件的詳細信息
建立認證文件 (rsync客戶端認證文件只用加入密碼)
- echo "741852" >> /etc/www1.pwd
- echo "951753" >> /etc/www2.pwd
- chmod 600 /etc/www1.pwd
- chmod 600 /etc/www2.pwd
- /bin/sh -n /root/rsync.sh //語法檢查
- chmod +x /root/rsync.sh
- nohup sh /root/rsync.sh &
- echo "nohup sh /root/rsync.sh &" >> /etc/rc.local
四,、同步測試
在更新源服務(wù)器上新建一個文件，運行以下的命令,，看文件是否可以正常同步,，看有無報錯信息
- rsync -vzrtopg --delete --progress /data/www1/ [email protected]::web1 --password-file=/etc/www1.pwd
將要更新的文件提交到更新源服務(wù)器中,，這樣就通過inotify+rsync批量的將更新文件同步到所有的目的服務(wù)器中，相當方便快捷 本文出自 “聆聽未來” 博客,，請務(wù)必保留此出處http://kerry.blog.51cto.com/172631/734087
|
