久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

PyCharm和Scrapy寫爬蟲 (Windows環(huán)境配置)

 stoneccf 2019-01-07

大家學習Python的過程中,總會想要一個好用的IDE來幫助提升開發(fā)的效率,。Python自帶的IDLE不太適合,,命令行模式對于工程結構不太友好,常用的IDE,,如Eclipse(需要PyDev插件),,還行。微軟的VisualStudio自帶Python以及各種框架,,配置一下interpreter也可以,,Sublime,Atom,,Notepad++....反正有很多,,你喜歡就可以選哪個。這里主要推薦的是JetBrains出品的PyCharm,它家還有著名的Java開發(fā)IDE intelliJ IDEA,,,,說一下簡單的用PyCharm寫爬蟲(簡單的一個例子)


  • Prerequisites:1)安裝好PyCharm 2) 下載scrapy

  • PyCharm安裝:go to https://www./pycharm/?fromMenu, 下載社區(qū)版或是專業(yè)版(收費的,可以30天試用,,推薦),。下載完后,直接打開安裝(Python已經提前安裝好了,,安裝時需要Python,類似于安裝Eclipse時需要JDK一樣)

  • 下載Scrapy:用pip安裝scrapy,。為了不影響安裝的Python,可以創(chuàng)建一個Python的虛擬環(huán)境,,然后再下載scrapy

  • 創(chuàng)建虛擬Python環(huán)境:用pip先安裝virtualenv這個工具:pip install virtualenv,,然后用virtualenv創(chuàng)建一個虛擬環(huán)境(如果安裝了不同版本的Python,可以指定要用哪個版本的Python的去創(chuàng)建虛擬環(huán)境)如下:
    PyCharm和Scrapy寫爬蟲 (Windows環(huán)境配置)

創(chuàng)建一個scrapy的項目:先激活虛擬環(huán)境(進入到\venv\Scripts目錄下,,執(zhí)行activate),,如下(這里venv是創(chuàng)建的虛擬環(huán)境)
PyCharm和Scrapy寫爬蟲 (Windows環(huán)境配置)

這個時候,虛擬環(huán)境被激活,,然后用scrapy命令創(chuàng)建一個爬蟲工程:scrapy startproject learn_scrapy
創(chuàng)建完成之后可以看到這樣的目錄結構,如下(用PyCharm打開):

PyCharm和Scrapy寫爬蟲 (Windows環(huán)境配置)

(note:這里begin.py不是初始文件,是后面創(chuàng)建的,,這個例子來自:http://docs./scrapy/scrapy0.24/intro/tutorial.html

完成上述的操作之后,,就是寫一個示例來運行一下,可以參考http://docs./scrapy/scrapy0.24/intro/tutorial.html 這個例子,,寫一個begin.py在scrapy.cfg的同級目錄,,再在spider包下面創(chuàng)建一個spider.py的文件。

完成示例代碼之后,,接著就是運行,,這時候需要配置一下運行的環(huán)境,選擇Run - Edit Configurations...,,新建一個python,如下

PyCharm和Scrapy寫爬蟲 (Windows環(huán)境配置)

Python interpreter要選擇之前創(chuàng)建的虛擬環(huán)境下的

這樣就可以開始執(zhí)行了

    本站是提供個人知識管理的網絡存儲空間,,所有內容均由用戶發(fā)布,不代表本站觀點,。請注意甄別內容中的聯(lián)系方式,、誘導購買等信息,謹防詐騙,。如發(fā)現(xiàn)有害或侵權內容,,請點擊一鍵舉報。
    轉藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多