robots.txt的作用是用來告訴搜索引擎機(jī)器人不索引網(wǎng)站的哪些內(nèi)容。robots.txt文件就是一個普通的文本文件,，名稱用小寫,，一般放在網(wǎng)站的根目錄下。當(dāng)一個搜索引擎機(jī)器人（有的叫搜索蜘蛛）訪問一個站點時,，它會首先檢查該站點根目錄下是否存在robots.txt,，如果存在，搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍,；如果該文件不存在,，那么搜索機(jī)器人就沿著鏈接抓取。

[編輯] robots.txt作用

robots.txt的作用就是告訴搜索引擎哪些內(nèi)容不要索引,，一般為了實現(xiàn)如下目的而使用：

1. 禁止搜索引擎索引系統(tǒng)文件,，后臺文件，模板文件,，背景圖片,。這樣做一方面可以防止搜索引擎收錄很多無關(guān)內(nèi)容，另外可以降低搜索引擎蜘蛛抓取網(wǎng)站時消耗的資源
2. 禁止搜索引擎收錄需要保密的文件,，或者是隱私內(nèi)容,。不過值得注意的是，robots.txt只能告訴搜索引擎不收錄這些內(nèi)容,，但是并不能防止這些內(nèi)容被訪問,，如果是重要信息最好是設(shè)置密碼。
3. 網(wǎng)址規(guī)范化方面的應(yīng)用,。啟用偽靜態(tài)的網(wǎng)站,，一般同時存在至少兩套網(wǎng)址，一套是rewrite之后的靜態(tài)地址,，一套是原始的動態(tài)地址,，如果不限制，搜索引擎可能會收錄大量的重復(fù)內(nèi)容,。為了方式這種情況,，可以將動態(tài)格式的地址禁止索引。

[編輯] robots.txt語法

1. User-agent: 該項的值用于描述搜索引擎蜘蛛的名字,。如果該項的值設(shè)為*,，則該協(xié)議對任何機(jī)器人均有效。

1. Disallow: 該項的值用于描述不希望被訪問到的一個URL,，一個目錄或者整個網(wǎng)站,。以Disallow 開頭的URL 均不會被搜索引擎蜘蛛訪問到。任何一條Disallow 記錄為空,，說明該網(wǎng)站的所有部分都允許被訪問,。

例子：

網(wǎng)站目錄下所有文件均能被所有搜索引擎蜘蛛訪問

User-agent: *
Disallow:

禁止所有搜索引擎蜘蛛訪問網(wǎng)站的任何部分

User-agent: *
Disallow: /

禁止所有的搜索引擎蜘蛛訪問網(wǎng)站的幾個目錄

User-agent: *
Disallow: /a/
Disallow: /b/

禁止搜索引擎蜘蛛訪問目錄a和目錄b

只允許某個搜索引擎蜘蛛訪問

User-agent: Googlebot
Disallow: 

[編輯] robots.txt使用技巧

1. 每當(dāng)用戶試圖訪問某個不存在的URL時,，服務(wù)器都會在日志中記錄404錯誤（無法找到文件）。每當(dāng)搜索蜘蛛來尋找并不存在的robots.txt文件時,，服務(wù)器也將在日志中記錄一條404錯誤,，所以你應(yīng)該在網(wǎng)站中添加一個robots.txt。

2. 網(wǎng)站管理員必須使蜘蛛程序遠(yuǎn)離某些服務(wù)器上 的目錄——保證服務(wù)器性能,。比如：大多數(shù)網(wǎng)站服務(wù)器都有程序儲存在“cgi-bin”目錄下,，因此在 robots.txt文件中加入“Disallow: /cgi-bin”是個好主意，這樣能夠避免將所有程序文件被蜘蛛索引,，可以節(jié)省服務(wù)器資源,。一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳 本,、附件,、數(shù)據(jù)庫文件、編碼文件,、樣式表文件,、模板文件、導(dǎo)航圖片和背景圖片等等,。

下面是VeryCMS里的robots.txt文件： 　　User-agent: * 　　Disallow: /admin/ 后臺管理文件 　　Disallow: /require/ 程序文件 　　Disallow: /attachment/ 附件 　　Disallow: /images/ 圖片 　　Disallow: /data/ 數(shù)據(jù)庫文件 　　Disallow: /template/ 模板文件 　　Disallow: /css/ 樣式表文件 　　Disallow: /lang/ 編碼文件 　　Disallow: /script/ 腳本文件 3. 如果你的網(wǎng)站是動 態(tài)網(wǎng)頁,，并且你為這些動 態(tài)網(wǎng)頁創(chuàng)建了靜態(tài)副本，以供搜索蜘蛛更容易抓取,。那么你需要在robots.txt文件里設(shè)置避免動 態(tài)網(wǎng)頁被蜘蛛索引,，以保證這些網(wǎng)頁不會被視為含重復(fù)內(nèi)容。

4. robots.txt文件里還可以直接包括在sitemap文件的鏈接,。就像這樣：

Sitemap: http://www.***.com/sitemap.xml (此處請?zhí)顚懲暾鸘RL,，如果按習(xí)慣填寫Sitemap: /sitemap.xml，提交后會提示：檢測到無效的 Sitemap 網(wǎng)址,；語法錯誤)

目前對此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN,。而中文搜索引擎公司，顯然不在這個圈子內(nèi),。這樣做的好處就是,，站長不用到每個搜索引擎的站長工具或者相似的站長部分,，去提交自己的sitemap 文件,，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑,，接著抓取其中相鏈接的網(wǎng)頁,。

5. 合理使用robots.txt文件還能避免訪問時出錯。比如,，不能讓搜索者直接進(jìn)入購物車頁面,。因為沒有理由使購物車被收錄，所以你可以在robots.txt文件里設(shè)置來阻止搜索者直接進(jìn)入購物車頁面。

[編輯] robots.txt使用誤區(qū)

誤區(qū)一：我網(wǎng)站上所有的文件都需要被蜘蛛抓取,，那我就沒必要添加robots.txt文件了,。反正如果該文件不存在，所有的搜索蜘蛛將默認(rèn)能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面,。

每當(dāng)用戶試圖訪問某個不存在的URL時,，服務(wù)器都會在日志中記錄404錯誤文件（無法找到文件）。每當(dāng)搜索蜘蛛來尋找并不存在的robots.txt文件時,，服務(wù)器也將在日志中記錄一條404錯誤文件,，所以你應(yīng)該在網(wǎng)站中添加一個robots.txt。

誤區(qū)二：在robots.txt文件中設(shè)置所有的文件都可以被搜索蜘蛛抓取,，這樣可以增加網(wǎng)站的收錄率,。

網(wǎng)站中的腳本程序、樣式表等文件即使被蜘蛛收錄,，也不會增加網(wǎng)站的收錄率,，還只會占用服務(wù)器存儲空間。因此必須在robots.txt文件里設(shè)置不要讓搜索蜘蛛索引腳本程序,、樣式表等文件,，具體哪些文件需要排除，在robots.txt使用技巧一文中有詳細(xì)介紹,。

誤區(qū)三：搜索蜘蛛抓取網(wǎng)頁太浪費(fèi)服務(wù)器資源,，在robots.txt文件中設(shè)置所有的搜索蜘蛛都不能抓取全部的網(wǎng)頁。

如果這樣的話,，會導(dǎo)致整個網(wǎng)站不能被搜索引擎收錄,。