九月總結的SEOer最想知道的robots.txt 六大點總結,。

1。你是否知道robots.txt中文的意思,？

2,。你是否知道404頁面應該屏蔽？

3,。你的企業(yè)站,，每個頁面是否都有“關于我們”，并且還得沒屏蔽掉,？

4,。你是否知道設置好robots.txt，是有利于提升網(wǎng)站整體權重,？

5,。你想知道robots.txt基本寫法？

6,。robots.txt該如何寫,，才優(yōu)化最佳,。

1。robots.txt的中文意思是：搜索引擎公共協(xié)議,。搜索引擎到你的網(wǎng)站,，是先看robots.txt，按照上面寫好的協(xié)議再抓取你的網(wǎng)頁,。

2,。每個網(wǎng)站都應該要有404頁面，假如沒有,，會導致 1）減少網(wǎng)站PV 2）減少流量 3）搜索引擎對你的網(wǎng)站不有好,，因為你的網(wǎng)站用戶體驗度不好。

每個網(wǎng)站都有很多錯誤頁面,，每個錯誤頁面都應該做一個404頁面,，那么每個404頁面都是一樣的。一旦你的404頁面太多,，你還讓搜索引擎去收錄,，就會導致網(wǎng)站把權重分給這些404頁面，這值得嗎,？因此我們必須要屏蔽掉404頁面,。

3。企業(yè)站的導航欄上面,，往往會有“網(wǎng)上賺錢博客介紹”“聯(lián)系九月”“關于我們”這些頁面,。這些頁面，可以說是全站顯示,，網(wǎng)站的每個頁面幾乎都要分權重給這些頁面,，但是這些頁面值得網(wǎng)站分權重給他們嗎？因此我們也必須屏蔽掉這些“不重要內(nèi)容”的頁面,，不讓搜索引擎抓取,。

4。從3.4點,，我們可以得出一個結論：網(wǎng)站如果有太多無關的頁面被收錄,，而你又不想用戶直接從搜索引擎進入這些頁面，那么網(wǎng)站就會把權重分給這些“毫無意義”的頁面,，這樣就會降低整體網(wǎng)站的權重,。

簡而概之，就是網(wǎng)站被這些垃圾頁面所拖累了,。

5,。robots.txt的基本寫法。

在桌面上建立一個叫robots.txt文檔

以下內(nèi)容按順序?qū)懀?/p>

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /feed
Disallow: /comments/feed
Disallow: /trackback
Disallow: /guestbook

User-agent: #表示允許的搜索引擎。*代表允許所有,，如果僅允許百度蜘蛛,，就寫baiduspider

Disallow: #是禁止收錄的意思

Disallow: / #表示禁止所有收錄。直接再Disallow:后面加一個斜杠,。

Disallow: /網(wǎng)站后臺目錄/ #屏蔽目錄的格式

Disallow: /404.html #屏蔽404頁面

robots.txt里面,，任何空格，換行都是被忽略的,。robots.txt只看命令的順序,，空格、換行都是為了我們看的方便,。

6,。robots.txt該如何寫，才優(yōu)化最佳,？

看完了前面5點,，相信你對如何優(yōu)化最佳應該有一個很好的理解了。

1）屏蔽掉對網(wǎng)站沒用的垃圾頁面,，比如404