人工智能指的是一系列使機器能夠像人類一樣處理信息的技術(shù)；機器學(xué)習(xí)是利用計算機編程從歷史數(shù)據(jù)中學(xué)習(xí)，對新數(shù)據(jù)進行預(yù)測的過程,；神經(jīng)網(wǎng)絡(luò)是基于生物大腦結(jié)構(gòu)和特征的機器學(xué)習(xí)的計算機模型；深度學(xué)習(xí)是機器學(xué)習(xí)的一個子集,，它處理大量的非結(jié)構(gòu)化數(shù)據(jù),，如人類的語音、文本和圖像,。

因此,，這些概念在層次上是相互依存的，人工智能是最廣泛的術(shù)語,，而深度學(xué)習(xí)是最具體的：

為了大家能夠?qū)θ斯ぶ悄艹Ｓ玫?Python 庫有一個初步的了解,，以選擇能夠滿足自己需求的庫進行學(xué)習(xí),，對目前較為常見的人工智能庫進行簡要全面的介紹。

Python常用機器學(xué)習(xí)及深度學(xué)習(xí)庫介紹

1,、 Numpy

NumPy(Numerical Python)是 Python的一個擴展程序庫,，支持大量的維度數(shù)組與矩陣運算，此外也針對數(shù)組運算提供大量的數(shù)學(xué)函數(shù)庫,，Numpy底層使用C語言編寫,，數(shù)組中直接存儲對象，而不是存儲對象指針,，所以其運算效率遠高于純Python代碼,。

我們可以在示例中對比下純Python與使用Numpy庫在計算列表sin值的速度對比：

從如下運行結(jié)果，可以看到使用 Numpy 庫的速度快于純 Python 編寫的代碼：

使用純Python用時0.017444372177124023s使用Numpy用時0.001619577407836914s

2,、 OpenCV

OpenCV 是一個的跨平臺計算機視覺庫,，可以運行在 Linux、Windows 和 Mac OS 操作系統(tǒng)上,。它輕量級而且高效——由一系列 C 函數(shù)和少量 C++ 類構(gòu)成,，同時也提供了 Python 接口，實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法,。

下面代碼嘗試使用一些簡單的濾鏡,，包括圖片的平滑處理、高斯模糊等：

可以參考OpenCV圖像處理基礎(chǔ)（變換和去噪）,，了解更多 OpenCV 圖像處理操作,。

3、 Scikit-image

scikit-image是基于scipy的圖像處理庫,，它將圖片作為numpy數(shù)組進行處理,。

例如，可以利用scikit-image改變圖片比例,，scikit-image提供了rescale,、resize以及downscale_local_mean等函數(shù)。

from skimage import data, color, iofrom skimage.transform import rescale, resize, downscale_local_meanimage = color.rgb2gray(io.imread('h89817032p0.png'))image_rescaled = rescale(image, 0.25, anti_aliasing=False)image_resized = resize(image, (image.shape[0] // 4, image.shape[1] // 4),                       anti_aliasing=True)image_downscaled = downscale_local_mean(image, (4, 3))plt.figure(figsize=(20,20))plt.subplot(221),plt.imshow(image, cmap='gray'),plt.title('Original')plt.xticks([]), plt.yticks([])plt.subplot(222),plt.imshow(image_rescaled, cmap='gray'),plt.title('Rescaled')plt.xticks([]), plt.yticks([])plt.subplot(223),plt.imshow(image_resized, cmap='gray'),plt.title('Resized')plt.xticks([]), plt.yticks([])plt.subplot(224),plt.imshow(image_downscaled, cmap='gray'),plt.title('Downscaled')plt.xticks([]), plt.yticks([])plt.show()

4,、 Python Imaging Library(PIL)

Python Imaging Library(PIL) 已經(jīng)成為 Python 事實上的圖像處理標準庫了,，這是由于，PIL 功能非常強大,，但API卻非常簡單易用,。

但是由于PIL僅支持到 Python 2.7，再加上年久失修,，于是一群志愿者在 PIL 的基礎(chǔ)上創(chuàng)建了兼容的版本,，名字叫 Pillow，支持最新 Python 3.x，又加入了許多新特性,，因此,，我們可以跳過 PIL，直接安裝使用 Pillow,。

5,、 Pillow

使用 Pillow 生成字母驗證碼圖片：

6、 SimpleCV

SimpleCV 是一個用于構(gòu)建計算機視覺應(yīng)用程序的開源框架,。使用它,，可以訪問高性能的計算機視覺庫，如 OpenCV,，而不必首先了解位深度,、文件格式、顏色空間,、緩沖區(qū)管理,、特征值或矩陣等術(shù)語。但其對于 Python3 的支持很差很差,，在 Python3.7 中使用如下代碼：

from SimpleCV import Image, Color, Display# load an image from imgurimg = Image('http://i./lfAeZ4n.png')# use a keypoint detector to find areas of interestfeats = img.findKeypoints()# draw the list of keypointsfeats.draw(color=Color.RED)# show the  resulting image. img.show()# apply the stuff we found to the image.output = img.applyLayers()# save the results.output.save('juniperfeats.png')

會報如下錯誤,，因此不建議在 Python3 中使用：

7、 Mahotas

Mahotas 是一個快速計算機視覺算法庫,，其構(gòu)建在 Numpy 之上，目前擁有超過100種圖像處理和計算機視覺功能,，并在不斷增長,。

使用 Mahotas 加載圖像，并對像素進行操作：

import numpy as npimport mahotasimport mahotas.demosfrom mahotas.thresholding import soft_thresholdfrom matplotlib import pyplot as pltfrom os import pathf = mahotas.demos.load('lena', as_grey=True)f = f[128:,128:]plt.gray()# Show the data:print('Fraction of zeros in original image: {0}'.format(np.mean(f==0)))plt.imshow(f)plt.show()

8,、 Ilastik

Ilastik 能夠給用戶提供良好的基于機器學(xué)習(xí)的生物信息圖像分析服務(wù),，利用機器學(xué)習(xí)算法，輕松地分割,，分類,，跟蹤和計數(shù)細胞或其他實驗數(shù)據(jù)。大多數(shù)操作都是交互式的,，并不需要機器學(xué)習(xí)專業(yè)知識,。

9、 Scikit-learn

Scikit-learn 是針對 Python 編程語言的免費軟件機器學(xué)習(xí)庫,。它具有各種分類,，回歸和聚類算法，包括支持向量機,，隨機森林,，梯度提升，k均值和 DBSCAN 等多種機器學(xué)習(xí)算法,。

使用Scikit-learn實現(xiàn)KMeans算法：

10,、 SciPy

SciPy 庫提供了許多用戶友好和高效的數(shù)值計算,，如數(shù)值積分、插值,、優(yōu)化,、線性代數(shù)等。

SciPy 庫定義了許多數(shù)學(xué)物理的特殊函數(shù),，包括橢圓函數(shù),、貝塞爾函數(shù)、伽馬函數(shù),、貝塔函數(shù),、超幾何函數(shù)、拋物線圓柱函數(shù)等等,。

from scipy import specialimport matplotlib.pyplot as pltimport numpy as npdef drumhead_height(n, k, distance, angle, t):    kth_zero = special.jn_zeros(n, k)[-1]    return np.cos(t) * np.cos(n*angle) * special.jn(n, distance*kth_zero)theta = np.r_[0:2*np.pi:50j]radius = np.r_[0:1:50j]x = np.array([r * np.cos(theta) for r in radius])y = np.array([r * np.sin(theta) for r in radius])z = np.array([drumhead_height(1, 1, r, theta, 0.5) for r in radius])fig = plt.figure()ax = fig.add_axes(rect=(0, 0.05, 0.95, 0.95), projection='3d')ax.plot_surface(x, y, z, rstride=1, cstride=1, cmap='RdBu_r', vmin=-0.5, vmax=0.5)ax.set_xlabel('X')ax.set_ylabel('Y')ax.set_xticks(np.arange(-1, 1.1, 0.5))ax.set_yticks(np.arange(-1, 1.1, 0.5))ax.set_zlabel('Z')plt.show()

11,、 NLTK

NLTK 是構(gòu)建Python程序以處理自然語言的庫。它為50多個語料庫和詞匯資源(如 WordNet )提供了易于使用的接口,，以及一套用于分類,、分詞、詞干,、標記,、解析和語義推理的文本處理庫、工業(yè)級自然語言處理 (Natural Language Processing, NLP) 庫的包裝器,。

NLTK被稱為 “a wonderful tool for teaching, and working in, computational linguistics using Python”,。

12、 spaCy

spaCy 是一個免費的開源庫,，用于 Python 中的高級 NLP,。它可以用于構(gòu)建處理大量文本的應(yīng)用程序；也可以用來構(gòu)建信息提取或自然語言理解系統(tǒng),，或者對文本進行預(yù)處理以進行深度學(xué)習(xí),。

  import spacy  texts = [      'Net income was $9.4 million compared to the prior year of $2.7 million.',      'Revenue exceeded twelve billion dollars, with a loss of $1b.',  ]  nlp = spacy.load('en_core_web_sm')  for doc in nlp.pipe(texts, disable=['tok2vec', 'tagger', 'parser', 'attribute_ruler', 'lemmatizer']):      # Do something with the doc here      print([(ent.text, ent.label_) for ent in doc.ents])

nlp.pipe 生成 Doc 對象，因此我們可以對它們進行迭代并訪問命名實體預(yù)測：

13,、 LibROSA

librosa 是一個用于音樂和音頻分析的 Python 庫,，它提供了創(chuàng)建音樂信息檢索系統(tǒng)所必需的功能和函數(shù)。

# Beat tracking exampleimport librosa# 1. Get the file path to an included audio examplefilename = librosa.example('nutcracker')# 2. Load the audio as a waveform `y`#    Store the sampling rate as `sr`y, sr = librosa.load(filename)# 3. Run the default beat trackertempo, beat_frames = librosa.beat.beat_track(y=y, sr=sr)print('Estimated tempo: {:.2f} beats per minute'.format(tempo))# 4. Convert the frame indices of beat events into timestampsbeat_times = librosa.frames_to_time(beat_frames, sr=sr)

14,、 Pandas

Pandas 是一個快速,、強大、靈活且易于使用的開源數(shù)據(jù)分析和操作工具,， Pandas 可以從各種文件格式比如 CSV,、JSON、SQL、Microsoft Excel 導(dǎo)入數(shù)據(jù),，可以對各種數(shù)據(jù)進行運算操作,，比如歸并、再成形,、選擇,，還有數(shù)據(jù)清洗和數(shù)據(jù)加工特征。Pandas 廣泛應(yīng)用在學(xué)術(shù),、金融,、統(tǒng)計學(xué)等各個數(shù)據(jù)分析領(lǐng)域。

15,、 Matplotlib

Matplotlib 是Python的繪圖庫,，它提供了一整套和 matlab 相似的命令 API，可以生成出版質(zhì)量級別的精美圖形,，Matplotlib 使繪圖變得非常簡單,，在易用性和性能間取得了優(yōu)異的平衡。

使用 Matplotlib 繪制多曲線圖：

# plot_multi_curve.pyimport numpy as npimport matplotlib.pyplot as pltx = np.linspace(0.1, 2 * np.pi, 100)y_1 = xy_2 = np.square(x)y_3 = np.log(x)y_4 = np.sin(x)plt.plot(x,y_1)plt.plot(x,y_2)plt.plot(x,y_3)plt.plot(x,y_4)plt.show()

16,、 Seaborn

Seaborn 是在 Matplotlib 的基礎(chǔ)上進行了更高級的API封裝的Python數(shù)據(jù)可視化庫,，從而使得作圖更加容易，應(yīng)該把 Seaborn 視為 Matplotlib 的補充,，而不是替代物,。

17、 Orange

Orange 是一個開源的數(shù)據(jù)挖掘和機器學(xué)習(xí)軟件,，提供了一系列的數(shù)據(jù)探索,、可視化、預(yù)處理以及建模組件,。Orange 擁有漂亮直觀的交互式用戶界面，非常適合新手進行探索性數(shù)據(jù)分析和可視化展示,；同時高級用戶也可以將其作為 Python 的一個編程模塊進行數(shù)據(jù)操作和組件開發(fā),。

使用 pip 即可安裝 Orange，好評

$ pip install orange3

安裝完成后,，在命令行輸入 orange-canvas 命令即可啟動 Orange 圖形界面：

啟動完成后,，即可看到 Orange 圖形界面，進行各種操作,。

18,、 PyBrain

PyBrain 是 Python 的模塊化機器學(xué)習(xí)庫。它的目標是為機器學(xué)習(xí)任務(wù)和各種預(yù)定義的環(huán)境提供靈活,、易于使用且強大的算法來測試和比較算法,。PyBrain 是 Python-Based Reinforcement Learning, Artificial Intelligence and Neural Network Library 的縮寫。

我們將利用一個簡單的例子來展示 PyBrain 的用法，構(gòu)建一個多層感知器 (Multi Layer Perceptron, MLP),。

首先,，我們創(chuàng)建一個新的前饋網(wǎng)絡(luò)對象：

from pybrain.structure import FeedForwardNetworkn = FeedForwardNetwork()

接下來，構(gòu)建輸入,、隱藏和輸出層：

為了使用所構(gòu)建的層,，必須將它們添加到網(wǎng)絡(luò)中：

n.addInputModule(inLayer)n.addModule(hiddenLayer)n.addOutputModule(outLayer)

可以添加多個輸入和輸出模塊。為了向前計算和反向誤差傳播,，網(wǎng)絡(luò)必須知道哪些層是輸入,、哪些層是輸出。

這就需要明確確定它們應(yīng)該如何連接,。為此,，我們使用最常見的連接類型，全連接層,，由 FullConnection 類實現(xiàn)：

與層一樣,，我們必須明確地將它們添加到網(wǎng)絡(luò)中：

n.addConnection(in_to_hidden)n.addConnection(hidden_to_out)

所有元素現(xiàn)在都已準備就位，最后,，我們需要調(diào)用.sortModules()方法使MLP可用：

這個調(diào)用會執(zhí)行一些內(nèi)部初始化,，這在使用網(wǎng)絡(luò)之前是必要的。

19,、 Milk

MILK(MACHINE LEARNING TOOLKIT) 是 Python 語言的機器學(xué)習(xí)工具包,。它主要是包含許多分類器比如 SVMS、K-NN,、隨機森林以及決策樹中使用監(jiān)督分類法,，它還可執(zhí)行特征選擇，可以形成不同的例如無監(jiān)督學(xué)習(xí),、密切關(guān)系傳播和由 MILK 支持的 K-means 聚類等分類系統(tǒng),。

使用 MILK 訓(xùn)練一個分類器：

import numpy as npimport milkfeatures = np.random.rand(100,10)labels = np.zeros(100)features[50:] += .5labels[50:] = 1learner = milk.defaultclassifier()model = learner.train(features, labels)# Now you can use the model on new examples:example = np.random.rand(10)print(model.apply(example))example2 = np.random.rand(10)example2 += .5print(model.apply(example2))

20、 TensorFlow

TensorFlow 是一個端到端開源機器學(xué)習(xí)平臺,。它擁有一個全面而靈活的生態(tài)系統(tǒng),，一般可以將其分為 TensorFlow1.x 和 TensorFlow2.x，TensorFlow1.x 與 TensorFlow2.x 的主要區(qū)別在于 TF1.x 使用靜態(tài)圖而 TF2.x 使用Eager Mode動態(tài)圖,。

這里主要使用TensorFlow2.x作為示例,，展示在 TensorFlow2.x 中構(gòu)建卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Network, CNN)。

21,、 PyTorch

PyTorch 的前身是 Torch,，其底層和 Torch 框架一樣，但是使用 Python 重新寫了很多內(nèi)容,，不僅更加靈活,，支持動態(tài)圖,，而且提供了 Python 接口。

# 導(dǎo)入庫import torchfrom torch import nnfrom torch.utils.data import DataLoaderfrom torchvision import datasetsfrom torchvision.transforms import ToTensor, Lambda, Composeimport matplotlib.pyplot as plt# 模型構(gòu)建device = 'cuda' if torch.cuda.is_available() else 'cpu'print('Using {} device'.format(device))# Define modelclass NeuralNetwork(nn.Module):    def __init__(self):        super(NeuralNetwork, self).__init__()        self.flatten = nn.Flatten()        self.linear_relu_stack = nn.Sequential(            nn.Linear(28*28, 512),            nn.ReLU(),            nn.Linear(512, 512),            nn.ReLU(),            nn.Linear(512, 10),            nn.ReLU()        )    def forward(self, x):        x = self.flatten(x)        logits = self.linear_relu_stack(x)        return logitsmodel = NeuralNetwork().to(device)# 損失函數(shù)和優(yōu)化器loss_fn = nn.CrossEntropyLoss()optimizer = torch.optim.SGD(model.parameters(), lr=1e-3)# 模型訓(xùn)練def train(dataloader, model, loss_fn, optimizer):    size = len(dataloader.dataset)    for batch, (X, y) in enumerate(dataloader):        X, y = X.to(device), y.to(device)        # Compute prediction error        pred = model(X)        loss = loss_fn(pred, y)        # Backpropagation        optimizer.zero_grad()        loss.backward()        optimizer.step()        if batch % 100 == 0:            loss, current = loss.item(), batch * len(X)            print(f'loss: {loss:>7f}  [{current:>5d}/{size:>5d}]')

22,、 Theano

Theano 是一個 Python 庫,，它允許定義、優(yōu)化和有效地計算涉及多維數(shù)組的數(shù)學(xué)表達式,，建在 NumPy 之上,。

在 Theano 中實現(xiàn)計算雅可比矩陣：

23、 Keras

Keras 是一個用 Python 編寫的高級神經(jīng)網(wǎng)絡(luò) API,，它能夠以 TensorFlow, CNTK, 或者 Theano 作為后端運行,。Keras 的開發(fā)重點是支持快速的實驗，能夠以最小的時延把想法轉(zhuǎn)換為實驗結(jié)果,。

from keras.models import Sequentialfrom keras.layers import Dense# 模型構(gòu)建model = Sequential()model.add(Dense(units=64, activation='relu', input_dim=100))model.add(Dense(units=10, activation='softmax'))# 模型編譯與訓(xùn)練model.compile(loss='categorical_crossentropy',              optimizer='sgd',              metrics=['accuracy'])model.fit(x_train, y_train, epochs=5, batch_size=32)         

24,、 Caffe

在 Caffe2 官方網(wǎng)站上，這樣說道：Caffe2 現(xiàn)在是 PyTorch 的一部分,。雖然這些 api 將繼續(xù)工作,，但鼓勵使用 PyTorch api。

25,、 MXNet

MXNet 是一款設(shè)計為效率和靈活性的深度學(xué)習(xí)框架,。它允許混合符號編程和命令式編程，從而最大限度提高效率和生產(chǎn)力,。

使用 MXNet 構(gòu)建手寫數(shù)字識別模型：

26,、 PaddlePaddle

飛槳 (PaddlePaddle) 以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架,、基礎(chǔ)模型庫,、端到端開發(fā)套件、豐富的工具組件于一體,。是中國首個自主研發(fā),、功能完備、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺,。

使用 PaddlePaddle 實現(xiàn) LeNtet5：

# 導(dǎo)入需要的包import paddleimport numpy as npfrom paddle.nn import Conv2D, MaxPool2D, Linear## 組網(wǎng)import paddle.nn.functional as F# 定義 LeNet 網(wǎng)絡(luò)結(jié)構(gòu)class LeNet(paddle.nn.Layer):    def __init__(self, num_classes=1):        super(LeNet, self).__init__()        # 創(chuàng)建卷積和池化層        # 創(chuàng)建第1個卷積層        self.conv1 = Conv2D(in_channels=1, out_channels=6, kernel_size=5)        self.max_pool1 = MaxPool2D(kernel_size=2, stride=2)        # 尺寸的邏輯：池化層未改變通道數(shù),；當前通道數(shù)為6        # 創(chuàng)建第2個卷積層        self.conv2 = Conv2D(in_channels=6, out_channels=16, kernel_size=5)        self.max_pool2 = MaxPool2D(kernel_size=2, stride=2)        # 創(chuàng)建第3個卷積層        self.conv3 = Conv2D(in_channels=16, out_channels=120, kernel_size=4)        # 尺寸的邏輯：輸入層將數(shù)據(jù)拉平[B,C,H,W] -> [B,C*H*W]        # 輸入size是[28,28]，經(jīng)過三次卷積和兩次池化之后,，C*H*W等于120        self.fc1 = Linear(in_features=120, out_features=64)        # 創(chuàng)建全連接層，第一個全連接層的輸出神經(jīng)元個數(shù)為64,， 第二個全連接層輸出神經(jīng)元個數(shù)為分類標簽的類別數(shù)        self.fc2 = Linear(in_features=64, out_features=num_classes)    # 網(wǎng)絡(luò)的前向計算過程    def forward(self, x):        x = self.conv1(x)        # 每個卷積層使用Sigmoid激活函數(shù),，后面跟著一個2x2的池化        x = F.sigmoid(x)        x = self.max_pool1(x)        x = F.sigmoid(x)        x = self.conv2(x)        x = self.max_pool2(x)        x = self.conv3(x)        # 尺寸的邏輯：輸入層將數(shù)據(jù)拉平[B,C,H,W] -> [B,C*H*W]        x = paddle.reshape(x, [x.shape[0], -1])        x = self.fc1(x)        x = F.sigmoid(x)        x = self.fc2(x)        return x

27、 CNTK

CNTK(Cognitive Toolkit) 是一個深度學(xué)習(xí)工具包,，通過有向圖將神經(jīng)網(wǎng)絡(luò)描述為一系列計算步驟,。在這個有向圖中,，葉節(jié)點表示輸入值或網(wǎng)絡(luò)參數(shù)，而其他節(jié)點表示對其輸入的矩陣運算,。CNTK 可以輕松地實現(xiàn)和組合流行的模型類型,，如 CNN 等。

CNTK 用網(wǎng)絡(luò)描述語言 (network description language, NDL) 描述一個神經(jīng)網(wǎng)絡(luò),。 簡單的說,，要描述輸入的 feature，輸入的 label,，一些參數(shù),，參數(shù)和輸入之間的計算關(guān)系，以及目標節(jié)點是什么,。

作者：盼小輝

原文鏈接：
https://blog.csdn.net/LOVEmy134611/article/details/118761423