好久沒更新Python相關(guān)的內(nèi)容了,，這個專題主要說的是Python在爬蟲方面的應(yīng)用，包括爬取和處理部分

上節(jié)我們說了如何獲取動態(tài)網(wǎng)頁中的jquery內(nèi)容

[Python爬蟲]使用Python爬取靜態(tài)網(wǎng)頁-斗魚直播

[Python爬蟲]使用Python爬取動態(tài)網(wǎng)頁-豆瓣電影(JSON)

這節(jié)說如何利用selenium模擬瀏覽器動作

開發(fā)環(huán)境

操作系統(tǒng):windows 10

Python版本 :3.6

爬取網(wǎng)頁模塊:selenium,PhantomJS

分析網(wǎng)頁模塊:BeautifulSoup4

關(guān)于Selenium

selenium 是一個Web自動測試的工具,，可以用來操作一些瀏覽器Driver,，例如Chrome，F(xiàn)irefox等,，也可以使用一些headless的driver，例如PhantomJS

具體請參加官網(wǎng):

http://selenium-python./

關(guān)于PhantomJS

PhantomJS是一個無頭(headless)的WebKit javascript API

我們可以用它模擬瀏覽器的操作,，也可以用來截圖

具體參加官網(wǎng):

http:///

模塊安裝

lxml為解析網(wǎng)頁所必需

pip3 install selenium

pip3 install BeautifulSoup4

pip3 install lxml

Driver 下載

這里我們下載Chrome driver和 Phantomjs

其他的driver見官網(wǎng)

 http://selenium-python./installation.html#drivers

Chrome下載

下載完成后可以放到系統(tǒng)環(huán)境變量中,，如:

  C:\Windows\System32

https://sites.google.com/a/chromium.org/chromedriver/downloads

PhatomJS下載

下載后同樣放到系統(tǒng)環(huán)境變量中

下載完成解壓后只需要將exe文件放到目錄下

http:///download.html

網(wǎng)頁分析

我們以幽游白書為例

 http://ac.qq.com/ComicView/index/id/543606/cid/1

打開后發(fā)現(xiàn)漫畫并沒有全部加載需要向下翻頁才可以加載完畢

之后通過開發(fā)者工具分析圖片的地址

這里我們通過bs4 來提取出所有img地址

之后通過Python將其保存成圖片

程序原理

代碼介紹

1. import相關(guān)的模塊

import selenium.webdriver

from bs4 import BeautifulSoup

2. 調(diào)用Chrome或者PhantomJS

driver = selenium.webdriver.Chrome()

#driver = selenium.webdriver.PhantomJS()

3. 獲取網(wǎng)頁源代碼

 content=driver.page_source

4. 獲取標(biāo)題和圖片地址之后存入字典

5. 新建目錄并下載圖片

這里首先判斷是否有該漫畫的目錄，如果沒有則新建,，之后下載圖片,，圖片的名稱為列表的索引號

執(zhí)行結(jié)果

注意事項:

1. 建議先用Chrome測試OK，再改用PhantomJS執(zhí)行

2. Chrome和PhantomJS在實際向下翻頁時有差異,，需測試后調(diào)節(jié)循環(huán)次數(shù)

3. 為防止被ban,，每次爬取采用了隨機延遲的方法

4. 只能爬取免費的內(nèi)容

5. 本腳本僅用于學(xué)習(xí)用途

源碼位置