一,、Robots是什么意思?

　　Robots是一個英文單詞,，對英語比較懂的朋友相信都知道，Robots的中文意思是機(jī)器人,。而我們通常提到的主要是Robots協(xié)議,，這也是搜索引擎的國際默認(rèn)公約。

　　二,、Robots協(xié)議是什么?

　　Robots協(xié)議通常被稱為是爬蟲協(xié)議,、機(jī)器人協(xié)議，主要是在搜素引擎中會見到,，其本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式,，用來指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，而不是作為搜索引擎之間互相限制和不正當(dāng)競爭的工具,。

　　百度為什么稱360違反Robots協(xié)議呢?主要是因為百度認(rèn)為360搜素對自身產(chǎn)生了競爭,，百度不希望自己旗下的貼吧，文庫,，知道,，百科等網(wǎng)站產(chǎn)品，被360搜素收錄,，并且在Robots協(xié)議中標(biāo)注屏蔽360搜素,，而360直接繞過了robots協(xié)議繼續(xù)采集百度旗下產(chǎn)品網(wǎng)站的信息，因此被百度起訴。

　　簡單的說,，任何網(wǎng)站只要在其robots協(xié)議中加入禁止某搜索引擎訪問,，那么該搜索引擎就無權(quán)收錄該網(wǎng)站的內(nèi)容。而robots的重要性在于,，一個網(wǎng)站有權(quán)利可以存在于互聯(lián)網(wǎng)中，但又不被指定的搜索引擎索引放到搜索結(jié)果中,，因為搜索引擎在互聯(lián)網(wǎng)上就像國王,，網(wǎng)站就是每個人的小家，而robots協(xié)議則是對抗國王的最后利器,，正所謂“風(fēng)能進(jìn)雨能進(jìn)國王不能進(jìn)”,。

　　在網(wǎng)站中，Robots協(xié)議是一個記事本文件,，我們只要將Robots.txt文件放置在網(wǎng)站跟目錄,，里邊可以標(biāo)注，哪些網(wǎng)站目錄不希望被搜索引擎抓取即可,，其格式如下圖所示：