Apache 是非常優(yōu)秀的WEB服務(wù)端軟件，用它記錄百度蜘蛛的訪問日志實(shí)在太容易了~
第一步，修改 httpd.conf
使用 vim 編輯 /etc/httpd/conf/httpd.conf 找到 #CustomLog "logs/access_log" common
CustomLog "logs/access_log" combined 選擇 combined 模式即可，去掉前面的#就OK了,。 第二步，修改 vhost.conf如果你開啟了 vhost 功能,，還需要修改 vhost.conf,。同樣使用 vim 編輯 /etc/httpd/conf.d/vhost.conf 。 CustomLog /www/web_log/www.-access.log combined 同樣是 combinded 模式即可,。 第三步,，重啟 Apache使用命令 systemctl restart httpd 即可，可以自己打開網(wǎng)站看看效果,，記錄示例如下： 162.158.178.63 - - [11/Jul/2019:10:54:24 +0000] "GET /photo/1227.html HTTP/1.1" 200 21222 "http://www./" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"
162.158.178.63 - - [11/Jul/2019:10:54:29 +0000] "GET /tag/mieko HTTP/1.1" 200 16728 "http://www./photo/1227.html" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36" 如果 ua 部分出現(xiàn) spider 字樣即是搜索引擎訪問記錄,，當(dāng)然有些垃圾爬蟲會(huì)偽裝成為搜索引擎UA。 另附：搜索引擎蜘蛛U(xiǎn)A列表Baiduspider 百度
Yisouspider 神馬
baidu Transcoder 百度轉(zhuǎn)碼
|
