大家好,,我是皮皮,。
一、前言前幾天在Python鉆石交流群【花間一壺酒】問了一個Python
網(wǎng)絡(luò)爬蟲的問題,,這里拿出來給大家分享下,。
截圖如下:
看上去有加密參數(shù):
使用爬蟲工具得到的結(jié)果不是預(yù)期的,。
二、實現(xiàn)過程這里【吳大佬】給了一個思路,,使用selenium
可以搞定,,代碼如下:
from selenium import webdriver from selenium.webdriver.common.by import By url = 'http://ggzyjy./InfoPage/TradeInfomation.aspx?state=3' browser = webdriver.Chrome() browser.get(url) li_list = browser.find_elements(By.XPATH, '//ul[@id="tradMainWrap"]/li' )for li in li_list: url_detail = li.find_element(By.XPATH, './a' ).get_attribute('href' ) print (url_detail)
順利地解決了粉絲的問題。
后來【甯同學(xué)】經(jīng)驗豐富,,看出了代碼的問題,,給了一個提示,入下圖所示,。
將請求的字典,,修改為字符串,然后就出來對應(yīng)的請求結(jié)果了,,真是太強了,!
三、總結(jié)大家好,,我是皮皮,。這篇文章主要盤點了一個Python
網(wǎng)絡(luò)爬蟲的問題,文中針對該問題,,給出了具體的解析和代碼實現(xiàn),,幫助粉絲順利解決了問題。
最后感謝粉絲【花間一壺酒】提問,,感謝【吳大佬】和【甯同學(xué)】給出的思路和代碼解析,,感謝【eric】、【未央.】等人參與學(xué)習(xí)交流,。