久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

用curl抓取網(wǎng)站數(shù)據(jù),仿造IP,、防屏蔽終極強(qiáng)悍解決方式

 黃三歲大愛(ài)人生 2018-02-03

最近在做一些抓取其它網(wǎng)站數(shù)據(jù)的工作,,當(dāng)然別人不會(huì)乖乖免費(fèi)給你抓數(shù)據(jù)的,有各種防抓取的方法,。不過(guò)道高一尺,,魔高一丈,,通過(guò)研究都是有漏洞可以鉆的。下面的例子都是用PHP寫(xiě)的,,不會(huì)用PHP來(lái)curl的孩紙先學(xué)習(xí)一下這塊再往下看,,可以參考這篇文章:http://blog.csdn.net/linglongwunv/article/details/8020845

      下面言歸正傳,先說(shuō)一種常見(jiàn)的方式,,偽造來(lái)源IP,,這也是好多刷票朋友常用的方法:

1、簡(jiǎn)單一點(diǎn)的可以在header偽造X-FORWARDED-FOR,,并偽造referer,,代碼如下:

  1. curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:111.222.333.4', 'CLIENT-IP:111.222.333.4'));  
  2. curl_setopt($ch, CURLOPT_REFERER, "http://www.");  


2、上面的方法大多數(shù)能糊弄過(guò)去,,但也有抓到了真實(shí)IP的,。就使用代理,麻煩在于你有一個(gè)有效的代理ip和端口號(hào),,有的還需要用戶名密碼,,代碼如下:

  1. curl_setopt($ch, CURLOPT_PROXY, "http://111.222.333.4:110");  

      另外還有一種情況,就是用瀏覽器可以訪問(wèn),,用curl就是不行,,發(fā)現(xiàn)對(duì)方檢查了useragent,如果沒(méi)有就認(rèn)為是抓取等非法來(lái)源,,那么我們就自己在header加上useragent,代碼如下:

  1. curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11");  

啦啦啦,,完工~



    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn),。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式,、誘導(dǎo)購(gòu)買等信息,謹(jǐn)防詐騙,。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約