1. curlcurl 支持 HTTP、HTTPS,、FTP 等協(xié)議,，還支持 POST、cookies,、認(rèn)證,、從指定偏移處下載部分文件、User-Agent,、限速,、文件大小、進(jìn)度條等特征,。 1.1 選項(xiàng)
1.2 示例 只看返回的 HTTP Header [root@VM_139_74_centos ~]# curl -I www.163.comHTTP/1.1 200 OKExpires: Sun, 06 May 2018 15:22:03 GMTDate: Sun, 06 May 2018 15:20:43 GMTServer: nginxContent-Type: text/html; charset=GBKTransfer-Encoding: chunkedVary: Accept-Encoding,User-Agent,AcceptCache-Control: max-age=80Age: 44X-Via: 1.1 PSfjqzdxgn15:0 (Cdn Cache Server V2.0), 1.1 chongdianxin121:4 (Cdn Cache Server V2.0)Connection: keep-aliveX-Dscp-Value: 0 文件下載 curl 默認(rèn)行為就是下載,，瀏覽網(wǎng)頁(yè)就是下載網(wǎng)頁(yè)到本地,，curl URL 會(huì)把這個(gè) URL 對(duì)應(yīng)的文件下載下來(lái)。但是 curl 會(huì)把下載的文件輸出到 STDOUT 即終端窗口,，可以通過(guò) -o 或 -O 選項(xiàng)寫(xiě)入文件,。 [root@VM_139_74_centos ~]# curl http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpg -o 1.jpg% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed100 208k 100 208k 0 0 447k 0 --:--:-- --:--:-- --:--:-- 448k 設(shè)置 cookie 使用 -b 讀取 cookie 文件，或 --cookie 選項(xiàng)來(lái)指定 cookie,，多個(gè) cookie 使用分號(hào)分隔： curl http://www.baidu.com --cookie 'user=root;pass=123456' 保存 cookie 使用 -c 或 --cookie-jar 選項(xiàng)： [root@VM_139_74_centos ~]# curl www.baidu.com --cookie-jar cookie...[root@VM_139_74_centos ~]# cat cookie# Netscape HTTP Cookie File# http://curl./docs/http-cookies.html# This file was generated by libcurl! Edit at your own risk..baidu.com TRUE / FALSE 1525707455 BDORZ 27315 設(shè)置 HTTP Header 使用 -H 或 --header 傳遞多個(gè)頭部信息,，例如： curl -H 'Host:www.baidu.com' -H 'accept-language:en' www.baidu.com 2. wgetwget 用于下載文件,，支持?jǐn)帱c(diǎn)續(xù)傳。 2.1 選項(xiàng) -a<日志文件>：在指定的日志文件中記錄執(zhí)行過(guò)程,； -A<后綴名>：指定要下載文件的后綴名,，多個(gè)后綴名之間使用逗號(hào)進(jìn)行分隔； -b：進(jìn)行后臺(tái)的方式運(yùn)行 wget,； -B<連接地址>：設(shè)置參考的連接地址的基地地址,； -c：繼續(xù)執(zhí)行上次終端的任務(wù)； -C<標(biāo)志>：設(shè)置服務(wù)器數(shù)據(jù)塊功能標(biāo)志on為激活,，off為關(guān)閉,，默認(rèn)值為on； -D<域名列表>：設(shè)置順著的域名列表,，域名之間用“,，”分隔； -e<指令>：作為文件“.wgetrc”中的一部分執(zhí)行指定的指令,； -i<文件>：從指定文件獲取要下載的URL地址,； -l<目錄列表>：設(shè)置順著的目錄列表，多個(gè)目錄用“,，”分隔,； -q：不顯示指令執(zhí)行過(guò)程 -O：另存為指定名稱的文件 -r：遞歸下載方式 2.2 示例 下載文件 [root@VM_139_74_centos ~]# wget http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpg--2018-05-06 23:42:14-- http://img02.tooopen.com/images/20160509/tooopen_sy_161967094653.jpgResolving img02.tooopen.com (img02.tooopen.com)... 61.240.138.246, 221.194.130.173Connecting to img02.tooopen.com (img02.tooopen.com)|61.240.138.246|:80... connected.HTTP request sent, awaiting response... 200 OKLength: 213639 (209K) [image/jpeg]Saving to: ‘tooopen_sy_161967094653.jpg.1’100%[=====================================================================================================================================================>] 213,639 --.-K/s in 0.09s 2018-05-06 23:42:14 (2.17 MB/s) - ‘tooopen_sy_161967094653.jpg.1’ saved [213639/213639] 下載文件并重命名 [root@VM_139_74_centos ~]# wget 下載指定格式文件 wget -r -A.pdf url 可以遞歸（-r 選項(xiàng)）下載一個(gè)網(wǎng)站的所有圖片、視頻,、PDF 文件,。 |
|
|
