|
Python中好用的爬蟲框架（私信小編001 ,、002 ,、003 、007任何一個即可獲取Python學習資料） 一般比價小型的爬蟲需求,，我是直接使用requests庫 bs4就解決了,，再麻煩點就使用selenium解決js的異步 加載問題。相對比較大型的需求才使用框架，主要是便于管理以及擴展等,。 1.Scrapy Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù),，提取結構性數(shù)據(jù)而編寫的應用框架。 可以應用在包括數(shù)據(jù)挖掘,，信息處理或存儲歷史數(shù)據(jù)等一系列的程序中,。 特性： 快速入門 安裝 pip install scrapy 創(chuàng)建項目 寫爬蟲 運行 scrapy crawl dmoz 這里就簡單介紹一下，后面有時間詳細寫一些關于scrapy的文章,，我的很多爬蟲的數(shù)據(jù)都是scrapy基礎上實現(xiàn)的,。 2.PySpider PySpider：一個國人編寫的強大的網(wǎng)絡爬蟲系統(tǒng)并帶有強大的WebUI。采用Python語言編寫,，分布式架構,，支持多種數(shù)據(jù)庫后端，強大的WebUI支持腳本編輯器,，任務監(jiān)視器,，項目管理器以及結果查看器,。
示例 代開web界面的編輯輸入代碼即可
3.Crawley Crawley可以高速爬取對應網(wǎng)站的內容,，支持關系和非關系數(shù)據(jù)庫，數(shù)據(jù)可以導出為JSON,、XML等,。
創(chuàng)建project
寫Python爬蟲邏輯
配置
運行 ~$ crawley run 4.Portia Portia是一個開源可視化爬蟲工具,，可讓您在不需要任何編程知識的情況下爬取網(wǎng)站,！簡單地注釋您感興趣的頁面，Portia將創(chuàng)建一個蜘蛛來從類似的頁面提取數(shù)據(jù),。
5.Newspaper Newspaper可以用來提取新聞,、文章和內容分析。使用多線程，支持10多種語言等,。作者從requests庫的簡潔與強大得到靈感,，使用python開發(fā)的可用于提取文章內容的程序。 支持10多種語言并且所有的都是unicode編碼,。 示例
6.Beautiful Soup Beautiful Soup 是一個可以從HTML或XML文件中提取數(shù)據(jù)的Python庫.它能夠通過你喜歡的轉換器實現(xiàn)慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節(jié)省數(shù)小時甚至數(shù)天的工作時間,。這個我是使用的特別頻繁的。在獲取html元素,，都是bs4完成的,。
示例：
7.Grab Grab是一個用于構建Web刮板的Python框架。借助Grab,，您可以構建各種復雜的網(wǎng)頁抓取工具,，從簡單的5行腳本到處理數(shù)百萬個網(wǎng)頁的復雜異步網(wǎng)站抓取工具。Grab提供一個API用于執(zhí)行網(wǎng)絡請求和處理接收到的內容,，例如與HTML文檔的DOM樹進行交互,。 8.Cola Cola是一個分布式的爬蟲框架，對于用戶來說,，只需編寫幾個特定的函數(shù),，而無需關注分布式運行的細節(jié)。任務會自動分配到多臺機器上,，整個過程對用戶是透明的,。
案例
10 .Python-goose框架 Python-goose框架可提取的信息包括：
用法示例
|
|
|
