http://www.lfd./~gohlke/pythonlibs/ .whl文件 到這個(gè)網(wǎng)站下載 ?。ㄍǔG闆r下是用pip install安裝,,有些庫安裝遇到困難后,,就要到這個(gè)站點(diǎn),下載.whl 文件再安裝)
https://pypi.douban.com/simple/ 豆瓣的庫 ?。ò惭b命令:pip install -i https://pypi.douban.com/simple/ scrapy )
https://pypi./pypi PyPI - Python包索引 ,。是Python編程語言的軟件倉庫。
https://docs./3/py-modindex.html Python Module Index 2017-10-4
https://wiki./moin/UsefulModules
https://www.zhihu.com/question/24590883 哪些 Python 庫讓你相見恨晚,?(可以看看) 2017-10-4
https://www.zhihu.com/question/28530832 怎么用最短時(shí)間高效而踏實(shí)地學(xué)習(xí) Python,?(有一些好笑的蛇狀圖)
https://segmentfault.com/a/1190000011568813 《流暢的python》閱讀筆記 2017-10-21
https://baike.baidu.com/item/RESTful/4406165 Restful,一種軟件架構(gòu)風(fēng)格
第三方庫的文檔:
https://www./tensorflow_python/ TensorFlow官方文檔
http://www./tfdoc/get_started/introduction.html TensorFlow中文社區(qū)
https://github.com/jobbole/awesome-python-cn Python 資源大全中文版
https://zhuanlan.zhihu.com/p/30435576 2017 年最流行的 15 個(gè)數(shù)據(jù)科學(xué) Python 庫
正文:
當(dāng)前環(huán)境:win7,,python3.6.0,,pyCharm4.5?! ython目錄是:c:/python3/
安裝完的庫,,都被保存在這里: C:\Python3\Lib\site-packages
pip 之于 python, 猶如 npm 之于 node.js,, 亦猶如 package control 之于 Sublime Text
pip常用命令: 某個(gè)庫(例如是bs4),,查看、安裝,、更新,、卸載: 2017-10-18
python -m pip install --upgrade pip # 升級(jí)pip(python3.4之后的版本都自帶了PIP,但是需要升級(jí)之后才能使用) pip install --force-reinstall --upgrade pip # 重新安裝pip pip list # 查看已安裝的庫 pip list --format=columns pip show bs4 # 查看bs4 pip install bs4 # 安裝bs4 pip install -U bs4 # 更新bs4 pip uninstall bs4 # 卸載bs4
如果系統(tǒng)路徑?jīng)]裝對(duì)的話,,用下面命令:
cd C:\Python3\scriptsC:\Python3\scripts\> python pip.exe list # 查看已安裝的庫 C:\Python3\scripts\> python pip.exe show bs4 # 查看bs4 C:\Python3\scripts\> python pip.exe install bs4 # 安裝bs4 C:\Python3\scripts\> python pip.exe install -U bs4 # 更新bs4 C:\Python3\scripts\> python pip.exe uninstall bs4 # 卸載bs4
PIP安裝其它的庫 (win7機(jī)子):
pip install requests # 可以直接安裝 pip install requests?2.18.4?py2.py3?none?any.whl # http://www.lfd./~gohlke/pythonlibs/ 也可以到這里去找.whl文件,,下載后安裝
第一種方法,直接安裝:
cd C:\Python3\scripts\
pip install arrow ———— 時(shí)間 arrow 0.10.0
pip install bs4 ———— BeautifulSoup4(4.6.0) HTML 解析器
pip install beautifulsoup4
pip install html5lib ———— html5解析器,,BeautifulSoup要用到
pip install lxml ———— lxml4.1.0 解析器,,BeautifulSoup要用到
pip install cookies ———— cookies2.2.1
pip install Django ———— Django1.11.6 網(wǎng)站
pip install flask ———— flask0.12.2 網(wǎng)站
pip install jieba ———— jieba0.39 中文分詞,詞頻統(tǒng)計(jì)
pip install matplotlib ———— matplotlib2.1.0 2D繪圖庫
pip install numpy ———— numpy1.13.3 開源的數(shù)值計(jì)算擴(kuò)展,。這種工具可用來存儲(chǔ)和處理大型矩陣
pip install pdfkit ———— pdfkit0.6.1 操作pdf
pip install pillow ———— pillow4.3.0 由于PIL僅支持到Python 2.7,,加上年久失修,于是一群志愿者在PIL的基礎(chǔ)上創(chuàng)建了兼容的版本,,名字叫Pillow,,支持最新Python 3.x,又加入了許多新特性,,因此,,我們可以直接安裝使用Pillow
pip install pymysql ———— pymysql0.7.10,數(shù)據(jù)庫連接庫,,連接mysql的
pip install pymongo ———— pymongo3.5.1,,數(shù)據(jù)庫連接庫,連接mongo的
pip install pytesseract ———— pytesseract0.1.7 ,,Tesseract-OCR(識(shí)別圖像中的文字,,還得另外安裝其它的,。詳見博客中的文章)
pip install pyquery ———— pyquery1.3.0
pip install requests ———— requests2.18.4 優(yōu)雅,簡單,,人性化的 HTTP 庫
pip install urllib3 ———— urllib3 1.22
pip install wheel ———— wheel0.30.0
pip install wordcloud ———— wordcloud 1.3.1 詞云圖
pip install xlrd ———— xlrd (1.1.0) 讀excel
pip install xlwt ———— xlwt (1.3.0) 寫excel
pip install setuptools ———— setuptools36.6.0
pip install pymouse ———— 模擬鼠標(biāo)操作
pip install PyAotuGUI ———— PyAotuGUI0.9.36,,模擬鼠標(biāo)鍵盤操作
pip install selenium ———— selenium3.3.1 ,selenium + python自動(dòng)化測試環(huán)境搭建
pip install scrapy ———— 這個(gè)安裝比較麻煩,,有很多依賴的庫(主要是各種依賴裝完了就好,,Twisted、vc++等),。最好弄個(gè)docker已經(jīng)裝好的鏡像來做,。
pip install cx_Oracle ———— cx_Oracle6.0.2 oracle數(shù)據(jù)庫
第二種方法,使用.whl安裝:
windows下那些不能直接安裝的庫,,一般都是因?yàn)槿鄙僖蕾囍惖?。解決方法有幾種:
- 用.whl安裝
- 升級(jí)python3到最新版本
- 另行安裝依賴
http://www.lfd./~gohlke/pythonlibs/ 到這個(gè)網(wǎng)站下載.whl文件
不要管它是 win32.whl ,還是 win_amd64.whl,,一個(gè)不行就試另一個(gè),。(如果這樣還是裝不上,又搞不清楚缺了什么依賴的,。咱就別費(fèi)勁了,,docker上找個(gè)鏡像,在遠(yuǎn)程試試就得了,。)
pip install wordcloud?1.3.2?cp36?cp36m?win32.whl ———— 詞云 1.3.2
還沒試用的庫:
urllib3 一個(gè)具有線程安全連接池,,支持文件 post,清晰友好的 HTTP 庫,。(Python HTTP庫,,安全連接池、支持文件post,、可用性高)
https://github.com/shazow/urllib3 官網(wǎng)
http://www.cnblogs.com/KGoing/p/6146999.html 下次看看
pyquery – 一個(gè)解析 HTML 的庫,,類似 jQuery。https://github.com/gawel/pyquery
matplotlib Matplotlib 能夠創(chuàng)建多數(shù)類型的圖表,,如條形圖,,散點(diǎn)圖,條形圖,,餅圖,,堆疊圖,3D 圖和地圖圖表,?! ttp://matplotlib./
http://www.jianshu.com/p/aa4150cf6c7f matplotlib教程
Tenacity Exception Retry 從此無比簡單 https:///2017/06/18/easy-retry/
TensorFlow TensorFlow 是一個(gè)使用數(shù)據(jù)流圖(data flow graphs)的數(shù)值計(jì)算庫 https://www./
py2exe (把代碼直接編譯成executable,所有人能運(yùn)行)
simplejson(更快)
爬蟲:
除了基礎(chǔ)的 requests 包(http://docs./en/master/user/quickstart/)以外,,python用于抓取頁面和網(wǎng)站的最常用和重要的6個(gè)庫如下:
# Selenium
api文檔:http://seleniumhq./selenium/docs/api/py/
文檔: http://selenium-python./
抓取網(wǎng)站指導(dǎo): http:///2013/11/12/webscraping-with-selenium-part-1/
抓取旅館價(jià)格的代碼示例: https://www./tutorial-web-scraping-hotel-prices-using-selenium-and-python/
# Beautiful Soup 4
中文文檔:https://www./software/BeautifulSoup/bs4/doc.zh/
http://beautifulsoup./zh_CN/latest/
簡單例子:https://gist.github.com/bradmontgomery/1872970
# pyspider
github文檔:https://github.com/binux/pyspider
# scrapy
官網(wǎng)文檔:https:///
抓取一個(gè)電商網(wǎng)站的例子:https:///@kaismh/extracting-data-from-websites-using-scrapy-e1e1e357651a#.sw7c9ycio
Scrapinghub:云基的爬蟲服務(wù) https:///
# lxml
官網(wǎng)文檔:http:///index.html#introduction
一個(gè)更通俗易懂的抓取頁面示例的教程:http://docs./en/latest/scenarios/scrape/
# MechanicalSoup
github文檔:https://github.com/MechanicalSoup/MechanicalSoup
詳細(xì)文檔:https://mechanicalsoup./en/latest/
目前Python主要應(yīng)用領(lǐng)域:
- 云計(jì)算: 云計(jì)算最火的語言, 典型應(yīng)用OpenStack
- WEB開發(fā): 眾多優(yōu)秀的WEB框架,,眾多大型網(wǎng)站均為Python開發(fā),,Youtube, Dropbox, 豆瓣。,。,。, 典型WEB框架有Django
- 科學(xué)運(yùn)算,、人工智能: 典型庫NumPy, SciPy, Matplotlib, Enthought librarys,pandas
- 系統(tǒng)運(yùn)維: 運(yùn)維人員必備語言
- 金融: 量化交易,,金融分析,在金融工程領(lǐng)域,,Python不但在用,,且用的最多,而且重要性逐年提高,。原因:作為動(dòng)態(tài)語言的Python,,語言結(jié)構(gòu)清晰簡單,庫豐富,,成熟穩(wěn)定,,科學(xué)計(jì)算和統(tǒng)計(jì)分析都很牛逼,,生產(chǎn)效率遠(yuǎn)遠(yuǎn)高于c,c++,java,尤其擅長策略回測
- 圖形GUI: PyQT, WxPython,TkInter
一些python模塊
functools, itertools, operator是Python標(biāo)準(zhǔn)庫為我們提供的支持函數(shù)式編程的三大模塊
...