 Robots協(xié)議 網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取,，哪些頁面不能抓取。Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式,，用來指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容,，更好的保護(hù)用戶的隱私和版權(quán)信息。 Robot是什么,？ Robot英文直譯是機(jī)器人,，在搜索引擎優(yōu)化SEO中，我們經(jīng)常翻譯為：探測器,。有時,，你會碰到crawler（爬行器），spider（蜘蛛）,，都是探測器之一,，只是叫法不同。 robots文件寫法的格式與參數(shù)說明 如下圖 robots文件中常用的通配符說明 robots文件寫法參考 |
|
|
