一、網(wǎng)絡(luò)爬蟲(chóng)的定義

網(wǎng)絡(luò)爬蟲(chóng),，即Web Spider,，是一個(gè)很形象的名字。
把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng),，那么Spider就是在網(wǎng)上爬來(lái)爬去的蜘蛛,。
網(wǎng)絡(luò)蜘蛛是通過(guò)網(wǎng)頁(yè)的鏈接地址來(lái)尋找網(wǎng)頁(yè)的。
從網(wǎng)站某一個(gè)頁(yè)面（通常是首頁(yè)）開(kāi)始,，讀取網(wǎng)頁(yè)的內(nèi)容,，找到在網(wǎng)頁(yè)中的其它鏈接地址，
然后通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè),，這樣一直循環(huán)下去,，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止,。
如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取下來(lái),。
這樣看來(lái),，網(wǎng)絡(luò)爬蟲(chóng)就是一個(gè)爬行程序，一個(gè)抓取網(wǎng)頁(yè)的程序,。
網(wǎng)絡(luò)爬蟲(chóng)的基本操作是抓取網(wǎng)頁(yè),。
那么如何才能隨心所欲地獲得自己想要的頁(yè)面？
我們先從URL開(kāi)始,。

二,、瀏覽網(wǎng)頁(yè)的過(guò)程

抓取網(wǎng)頁(yè)的過(guò)程其實(shí)和讀者平時(shí)使用IE瀏覽器瀏覽網(wǎng)頁(yè)的道理是一樣的。
比如說(shuō)你在瀏覽器的地址欄中輸入    www.baidu.com    這個(gè)地址,。
打開(kāi)網(wǎng)頁(yè)的過(guò)程其實(shí)就是瀏覽器作為一個(gè)瀏覽的“客戶端”,，向服務(wù)器端發(fā)送了 一次請(qǐng)求，把服務(wù)器端的文件“抓”到本地,，再進(jìn)行解釋,、展現(xiàn)。
HTML是一種標(biāo)記語(yǔ)言,，用標(biāo)簽標(biāo)記內(nèi)容并加以解析和區(qū)分,。
瀏覽器的功能是將獲取到的HTML代碼進(jìn)行解析，然后將原始的代碼轉(zhuǎn)變成我們直接看到的網(wǎng)站頁(yè)面,。

三,、URI和URL的概念和舉例

簡(jiǎn)單的來(lái)講，URL就是在瀏覽器端輸入的    http://www.baidu.com    這個(gè)字符串,。
在理解URL之前,，首先要理解URI的概念。
什么是URI,？
Web上每種可用的資源,，如 HTML文檔、圖像,、視頻片段,、程序等都由一個(gè)通用資源標(biāo)志符(Universal Resource Identifier， URI)進(jìn)行定位,。
URI通常由三部分組成：
①訪問(wèn)資源的命名機(jī)制,；
②存放資源的主機(jī)名；
③資源自身 的名稱,，由路徑表示,。
如下面的URI：
http://www./myhtml/html1223/
我們可以這樣解釋它：
①這是一個(gè)可以通過(guò)HTTP協(xié)議訪問(wèn)的資源，
②位于主機(jī) www.上,，
③通過(guò)路徑“/html/html40”訪問(wèn),。

四,、URL的理解和舉例

URL是URI的一個(gè)子集。它是Uniform Resource Locator的縮寫(xiě),，譯為“統(tǒng)一資源定位 符”,。
通俗地說(shuō)，URL是Internet上描述信息資源的字符串,，主要用在各種WWW客戶程序和服務(wù)器程序上,。
采用URL可以用一種統(tǒng)一的格式來(lái)描述各種信息資源，包括文件,、服務(wù)器的地址和目錄等,。
URL的一般格式為(帶方括號(hào)[]的為可選項(xiàng))：
protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL的格式由三部分組成：
①第一部分是協(xié)議(或稱為服務(wù)方式)。
②第二部分是存有該資源的主機(jī)IP地址(有時(shí)也包括端口號(hào)),。
③第三部分是主機(jī)資源的具體地址，如目錄和文件名等,。
第一部分和第二部分用“://”符號(hào)隔開(kāi),，
第二部分和第三部分用“/”符號(hào)隔開(kāi)。
第一部分和第二部分是不可缺少的,，第三部分有時(shí)可以省略,。

五、URL和URI簡(jiǎn)單比較

URI屬于URL更低層次的抽象,，一種字符串文本標(biāo)準(zhǔn),。
換句話說(shuō)，URI屬于父類,，而URL屬于URI的子類,。URL是URI的一個(gè)子集。
URI的定義是：統(tǒng)一資源標(biāo)識(shí)符,；
URL的定義是：統(tǒng)一資源定位符,。
二者的區(qū)別在于，URI表示請(qǐng)求服務(wù)器的路徑,，定義這么一個(gè)資源,。
而URL同時(shí)說(shuō)明要如何訪問(wèn)這個(gè)資源（http://）。

下面來(lái)看看兩個(gè)URL的小例子,。

1.HTTP協(xié)議的URL示例：
使用超級(jí)文本傳輸協(xié)議HTTP,，提供超級(jí)文本信息服務(wù)的資源。
例：http://www.peopledaily.com.cn/channel/welcome.htm
其計(jì)算機(jī)域名為www.peopledaily.com.cn,。
超級(jí)文本文件(文件類型為.html)是在目錄 /channel下的welcome.htm,。
這是中國(guó)人民日?qǐng)?bào)的一臺(tái)計(jì)算機(jī)。
例：http://www.rol./talk/talk1.htm
其計(jì)算機(jī)域名為www.rol.,。
超級(jí)文本文件(文件類型為.html)是在目錄/talk下的talk1.htm,。
這是瑞得聊天室的地址,，可由此進(jìn)入瑞得聊天室的第1室。

2．文件的URL
用URL表示文件時(shí),，服務(wù)器方式用file表示,，后面要有主機(jī)IP地址、文件的存取路 徑(即目錄)和文件名等信息,。
有時(shí)可以省略目錄和文件名,，但“/”符號(hào)不能省略。
例：file://ftp.yoyodyne.com/pub/files/foobar.txt
上面這個(gè)URL代表存放在主機(jī)ftp.yoyodyne.com上的pub/files/目錄下的一個(gè)文件,，文件名是foobar.txt,。
例：file://ftp.yoyodyne.com/pub
代表主機(jī)ftp.yoyodyne.com上的目錄/pub。
例：file://ftp.yoyodyne.com/
代表主機(jī)ftp.yoyodyne.com的根目錄,。

爬蟲(chóng)最主要的處理對(duì)象就是URL,，它根據(jù)URL地址取得所需要的文件內(nèi)容，然后對(duì)它 進(jìn)行進(jìn)一步的處理,。
因此,，準(zhǔn)確地理解URL對(duì)理解網(wǎng)絡(luò)爬蟲(chóng)至關(guān)重要。

好了,，基礎(chǔ)知識(shí)就先介紹到這里,，接下來(lái)我們來(lái)進(jìn)行點(diǎn)實(shí)際的爬蟲(chóng)操作