前言大數(shù)據(jù)和機(jī)器學(xué)習(xí)目前正處于風(fēng)口,對(duì)相關(guān)人才需求很大,,然而國(guó)內(nèi)科班出身的人才確實(shí)不多,想要轉(zhuǎn)行的務(wù)必抓住這個(gè)短暫的時(shí)間窗口,。而且,,我個(gè)人認(rèn)為目前經(jīng)濟(jì)已經(jīng)進(jìn)入通縮狀態(tài),失業(yè)率看漲,,進(jìn)入新興行業(yè)或許會(huì)有不錯(cuò)的轉(zhuǎn)機(jī),。 我也是通過(guò)自學(xué)轉(zhuǎn)入這個(gè)領(lǐng)域的,我寫這個(gè)專欄的目的一方面是梳理我所學(xué)的專業(yè)知識(shí)以及工作中用到的一些算法和項(xiàng)目,,另一方面也希望能夠和大家一起互相學(xué)習(xí),、快速成長(zhǎng)。 我在win下做項(xiàng)目,,所以只講win下怎么快速部署完整的學(xué)習(xí)和應(yīng)用環(huán)境,。 快速環(huán)境配置想要節(jié)省時(shí)間,直接看這里,。想知道為什么這么安裝,,以及一些優(yōu)化和美化方法,可以直接看下面慢速環(huán)境配置,。 1. 安裝python,,安裝時(shí)要點(diǎn)選把python加入系統(tǒng)path,下載地址:Download Python,; 2. 在某文件下放入如下3個(gè)文件:
# rapid-install.pyimport pipfrom subprocess import call# numpy, scipy換成你自己的版本 package_list = ['numpy?1.13.0+mkl?cp27?cp27m?win_amd64.whl', 'scipy?0.19.0?cp27?cp27m?win_amd64.whl', 'pandas', 'matplotlib', 'scikit-learn']for package in package_list: call('pip install --upgrade ' + package, shell=True) 然后,,在此目錄下,按住shift+鼠標(biāo)右擊,,選擇打開命令行,,輸入 python rapid_install.py,之后就可以坐等完成了,。 慢速環(huán)境配置我崇尚簡(jiǎn)約美,,所以我并不喜歡用一體式的anaconda作為開發(fā)環(huán)境,anaconda優(yōu)點(diǎn)在于集成了底層需要的c和fortran的編譯庫(kù),,也提供了numpy和scipy依賴的諸如BLAS,、LAPACK等的性能優(yōu)化(想要和GPU結(jié)合還需要付錢),。 不過(guò),如果只是作為平時(shí)練習(xí)和項(xiàng)目demo使用,,按照我用的開發(fā)環(huán)境就可以了,,只需要官方python和最美、最強(qiáng)大的編輯器Visual Studio Code足以,,很純潔,。 1. Python 安裝 下載地址:Download Python。 我用的是python 2.7,,因?yàn)?.x的庫(kù)相對(duì)完善,,其實(shí)2.x和3.x在我看來(lái)都一樣,按自己喜好來(lái)就可以,。根據(jù)自己操作系統(tǒng)位數(shù)來(lái)選擇合適的版本,,32位選擇 x86 MSI,64位選x86-64 MSI,。 安裝的過(guò)程中,,注意如圖示這一步,把最后一個(gè)×改成下拉框內(nèi)第一個(gè),,這樣可以將python路徑自動(dòng)加到系統(tǒng)的path路徑下,,此外可以看到pip這個(gè)包管理工具也默認(rèn)安裝了。 到命令行工具下驗(yàn)證python是否安裝成功,,可以看到python版本和位數(shù): 2. Visual Studio Code 安裝 下載地址:Download Visual Studio Code - Mac, Linux, Windows,。 2.1 安裝時(shí),在這一步建議把所有都勾上,,這樣以后點(diǎn)擊鼠標(biāo)右鍵可以快速啟動(dòng),。 2.2 優(yōu)化和美化,按個(gè)人喜好設(shè)置,。 File-> Preferences: 3. 大數(shù)據(jù)和機(jī)器學(xué)習(xí)庫(kù) 安裝 主要就是5個(gè)庫(kù):numpy,、scipy、pandas,、matplotlib,、scikit-learn。 打開vs code,,按“ Crtl + ` ”進(jìn)入vs code自帶的命令行環(huán)境—powershell,,比win自帶的好用。 3.1 numpy 和 scipy 安裝
numpy是數(shù)值代數(shù)庫(kù),,scipy是科學(xué)計(jì)算庫(kù),。在win下安裝這兩包比較坑爹,主要是這倆包依賴的一些c和fortran底層庫(kù)存在平臺(tái)兼容性問題。事實(shí)上,,numpy可以直接用pip install numpy 安裝,,但功能和性能受限,而scipy干脆就是不能安裝,。 幸好有高手對(duì)這倆包做了完整的binary庫(kù),,我們可以下載后直接安裝。
安裝:pip install xxx.whl(注意:文件名要修改成你下載的,,以及文件要在當(dāng)前命令行所在目錄,。) 可以進(jìn)入ipython環(huán)境,輸入 import numpy, scipy,,驗(yàn)證是否安裝成功,,無(wú)異常則成功。 3.2 pandas,、matplotlib ,、scikit-learn安裝
安裝:
可以進(jìn)入ipython環(huán)境,輸入 import pandas, matplotlib, sklearn,,驗(yàn)證是否安裝成功,,無(wú)異常則成功。 3.3 ipython 安裝 其實(shí)到上面這一步就可以了,,但是我們只要再多做一點(diǎn)點(diǎn),,就能成倍的提高工作效率。 ipython 是一個(gè)美化過(guò)的python解釋器,,同時(shí)提供了和操作系統(tǒng)交互的能力,,同時(shí)一些提供了很強(qiáng)大的magic命令,用起來(lái)真是異常方便,。 安裝:pip install ipython 不出意外肯定會(huì)出如下錯(cuò)誤—需要安裝python拓展C++ compiler模塊,,下載Microsoft Visual C++ Compiler for Python 2.7。是個(gè).msi文件,,直接安裝即可,,安裝好后,重新輸入安裝命令來(lái)安裝ipython,。 在命令行輸入 ipython 來(lái)驗(yàn)證是否安裝成功,, 輸入 exit 退出ipython環(huán)境。 4. 庫(kù)更新 用 pip list --outdated 可以查看哪些庫(kù)已經(jīng)更新了,。下面我提供一個(gè)批量更新庫(kù)腳本,,能夠保證numpy和scipy不出問題,。 # pip-upgrade.pyimport pipfrom subprocess import call for dist in pip.get_installed_distributions(): call('pip install --upgrade ' + dist.project_name, shell=True)# numpy 換成新的call('pip install numpy?1.13.0+mkl?cp27?cp27m?win_amd64.whl')# scipy 換成新的call('pip install scipy?0.19.0?cp27?cp27m?win_amd64.whl') 以后會(huì)寫的東西環(huán)境配置是容易的,后面的練習(xí)和使用才是最困難的,,numpy,、scipy等等中都有很多的api,如何去學(xué)習(xí)讓人很頭疼,。其實(shí),,每個(gè)庫(kù)都有真正核心的api,掌握這些就能干大多數(shù)活了,,以后的文章我會(huì)每個(gè)庫(kù)寫一些核心和常用的api,,讓大家都能聚焦于最重要的東西,都能快速上手,。 最后,,是我的剛建立的微信訂閱號(hào) ,文章會(huì)同時(shí)發(fā)送到訂閱號(hào)上,,歡迎關(guān)注,,搜索 鍵盤數(shù)據(jù)俠或者jp-sjx進(jìn)行關(guān)注。 |
|
來(lái)自: 不丁真人 > 《大數(shù)據(jù)》