• 🎉粉絲福利送書：《人工智能數(shù)學(xué)基礎(chǔ)》
• 🎉點(diǎn)贊 👍 收藏 ?留言 📝 即可參與抽獎(jiǎng)送書
• 🎉下周三(9月22日)晚上20：00將會(huì)在【點(diǎn)贊區(qū)和評(píng)論區(qū)】抽一位粉絲送這本書~🙉
• 🎉詳情請(qǐng)看第三點(diǎn)的介紹嗷~?

1. PCA 主成分分析

1.1 算法簡(jiǎn)介

數(shù)據(jù)樣本雖然是高維的，但是與學(xué)習(xí)任務(wù)緊密相關(guān)的或許僅僅是一個(gè)低維嵌入，因此可以對(duì)數(shù)據(jù)進(jìn)行有效的降維,。

主成分分析是一種統(tǒng)計(jì)分析,、簡(jiǎn)化數(shù)據(jù)集的方法,。

---

它利用正交變換來對(duì)一系列可能相關(guān)的變量的觀測(cè)值進(jìn)行線性變換，從而投影為一系列線性不相關(guān)變量的值，這些不相關(guān)變量稱為主成分,。

1.2 實(shí)現(xiàn)思路

一般來說，欲獲得低維子空間，最簡(jiǎn)單的是對(duì)原始高維空間進(jìn)行線性變換,。

給定𝒎維空間中的數(shù)據(jù)點(diǎn)，將其投影到低維空間中，同時(shí)盡可能多地保留信息,。

• 數(shù)據(jù)在低維線性空間的正交投影

最大化投影數(shù)據(jù)的方差(紫色線),。 最小化數(shù)據(jù)點(diǎn)與投影之間的均方距離(藍(lán)色線之和)。

• 主成分概念：

  1. 主成分分析(PCA)的思想是將𝒎維特征映射到𝒌維上(𝒌<𝒎)，這𝒌維是全新的正交特征,。
  2. 這𝒌維特征稱為主成分(PC)，是重新構(gòu)造出來的𝒌維特征,。

• 主成分特點(diǎn)：

  1. 源于質(zhì)心的矢量。
  2. 主成分#1指向最大方差的方向,。
  3. 各后續(xù)主成分與前一主成分正交，且指向殘差子空間最大方差的方向

1.3 公式推算

1.3.1 PCA順序排序

給定中心化的數(shù)據(jù){𝒙_𝟏,𝒙_𝟐,?,𝒙_𝒎}，計(jì)算主向量:

我們最大化𝒙的投影方差

我們使殘差子空間中投影的方差最大

1.3.2 樣本協(xié)方差矩陣

給定數(shù)據(jù){𝒙_𝟏,𝒙_𝟐,?,𝒙_𝒎}, 計(jì)算協(xié)方差矩陣?

證明不寫了，太多公式了，自行百度吧,。

1.4 小練習(xí)

給定的圖像數(shù)據(jù)集，探討pca降維后特征個(gè)數(shù)與聚類性能的關(guān)系。

from PIL import Image
import numpy as np
import os
from ex1.clustering_performance import clusteringMetrics
from sklearn.cluster import KMeans
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = 'SimHei'
plt.rcParams['axes.unicode_minus'] = False

def getImage(path):
    images = []
    for root, dirs, files in os.walk(path):
        if len(dirs) == 0:
            images.append([root + "\\" + x for x in files])
    return images

# 加載圖片
images_files = getImage('face_images')
y = []
all_imgs = []
for i in range(len(images_files)):
    y.append(i)
    imgs = []
    for j in range(len(images_files[i])):
        img = np.array(Image.open(images_files[i][j]).convert("L"))  # 灰度
        # img = np.array(Image.open(images_files[i][j])) #RGB
        imgs.append(img)
    all_imgs.append(imgs)

# 可視化圖片
w, h = 180, 200
pic_all = np.zeros((h * 10, w * 10))  # gray
for i in range(10):
    for j in range(10):
        pic_all[i * h:(i + 1) * h, j * w:(j + 1) * w] = all_imgs[i][j]
pic_all = np.uint8(pic_all)
pic_all = Image.fromarray(pic_all)
pic_all.show()

# 構(gòu)造輸入X
label = []
X = []
for i in range(len(all_imgs)):
    for j in all_imgs[i]:
        label.append(i)
        # temp = j.reshape(h * w, 3) #RGB
        temp = j.reshape(h * w)  # GRAY
        X.append(temp)

def keams_in(X_Data, k):
    kMeans1 = KMeans(k)
    y_p = kMeans1.fit_predict(X_Data)
    ACC, NMI, ARI = clusteringMetrics(label, y_p)
    t = "ACC:{},NMI:{:.4f},ARI:{:.4f}".format(ACC, NMI, ARI)
    print(t)
    return ACC, NMI, ARI

# PCA
def pca(X_Data, n_component, height, weight):
    X_Data = np.array(X_Data)
    pca1 = PCA(n_component)
    pca1.fit(X_Data)
    faces = pca1.components_
    faces = faces.reshape(n_component, height, weight)
    X_t = pca1.transform(X_Data)
    return faces, X_t

def draw(n_component, faces):
    plt.figure(figsize=(10, 4))
    plt.subplots_adjust(hspace=0, wspace=0)
    for i in range(n_component):
        plt.subplot(2, 5, i + 1)
        plt.imshow(faces[i], cmap='gray')
        plt.title(i + 1)
        plt.xticks(())
        plt.yticks(())
    plt.show()

score = []
for i in range(10):
    _, X_trans = pca(X, i + 1, h, w)
    acc, nmi, ari = keams_in(X_trans, 10)
    score.append([acc, nmi, ari])

score = np.array(score)
bar_width = 0.25
x = np.arange(1, 11)
plt.bar(x, score[:, 0], bar_width, align="center", color="orange", label="ACC", alpha=0.5)
plt.bar(x + bar_width, score[:, 1], bar_width, color="blue", align="center", label="NMI", alpha=0.5)
plt.bar(x + bar_width*2, score[:, 2], bar_width, color="red", align="center", label="ARI", alpha=0.5)
plt.xlabel("n_component")
plt.ylabel("精度")
plt.legend()
plt.show()

2. LDA 線性判斷分析

2.1 算法簡(jiǎn)介

當(dāng)我們映射的時(shí)候，由于映射的位置不同，所以我們會(huì)有不同的降維后的結(jié)果,。對(duì)于下面兩個(gè)，我們可以看出方法2的分類更明顯，方法2是更好的,。

和PCA的映射對(duì)比。

2.2 實(shí)現(xiàn)思路

投影后類內(nèi)方差最小，類間方差最大

就像是上面的那個(gè)三維映射例子一樣，我們可以看到，方法2之所以更好，就是因?yàn)轭悆?nèi)方差最小，類間方差最大,。

數(shù)據(jù)映射到Rk(從d維降到k維),且希望該變換將屬于同一類的樣本映射得越近越好(即最小的類內(nèi)距離)，而將不同類的樣本映射得越遠(yuǎn)越好 (即最大的類間距離),。同時(shí)還能盡能多地保留樣本數(shù)據(jù)的判別信息。

記𝒁_𝒊={𝑻(𝒙)|𝒙?𝑿_𝒊}，從而根據(jù)線性判別分析的基本思想，我們希望：

(𝒛_𝟏 ) ?和(𝒛_2 ) ?離的越遠(yuǎn)越好

類間離散度

𝒁_𝒊 中的元素集中在(𝒛_𝒊 ) ?附近越好

類內(nèi)離散度

輸入：訓(xùn)練樣本〖{𝒙_𝒊,𝒚_𝒊}〗_(𝒊=𝟏)^𝒏，降維后的維數(shù)（特征個(gè)數(shù)）k.

輸出：𝑿=[𝒙_𝟏, …,𝒙_𝒏 ]的低維度表示𝒁=[𝐳_𝟏, …,𝐳_𝒏 ].

步驟
1.計(jì)算類內(nèi)散度矩陣 Sw；
2.計(jì)算類間散度矩陣 Sb;
3.計(jì)算矩陣S的負(fù)一次方wSb;
4.計(jì)算S的負(fù)一次方wSb的最大的k個(gè)特征值和對(duì)應(yīng)的k個(gè)特征向量(w1, w2, …, wk)，得到投影矩陣W
5.對(duì)樣本集中的每一個(gè)樣本特征xi轉(zhuǎn)化為新的樣本zi=WTxi
6.得到輸出樣本集〖{𝒛_𝒊,𝒚_𝒊}〗_(𝒊=𝟏)^𝒏.

2.3 小練習(xí)

給定的圖像數(shù)據(jù)集，探討LDA的降維效果

from sklearn import datasets#引入數(shù)據(jù)集
from sklearn.neighbors import KNeighborsClassifier #KNN
from sklearn.decomposition import PCA
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.model_selection import train_test_split
import numpy as np
import matplotlib.pyplot as plt #plt用于顯示圖片
from matplotlib import offsetbox

def calLDA(k):
    # LDA
    lda = LinearDiscriminantAnalysis(n_components=k).fit(data,label) # n_components設(shè)置降維到n維度
    dataLDA = lda.transform(data)  # 將規(guī)則應(yīng)用于訓(xùn)練集
    return dataLDA

def calPCA(k):
    # PCA
    pca = PCA(n_components=k).fit(data)
    # 返回測(cè)試集和訓(xùn)練集降維后的數(shù)據(jù)集
    dataPCA = pca.transform(data)
    return dataPCA

def draw():
    # matplotlib畫圖中中文顯示會(huì)有問題，需要這兩行設(shè)置默認(rèn)字體

    fig = plt.figure('example', figsize=(11, 6))
    # plt.xlabel('X')
    # plt.ylabel('Y')
    # plt.xlim(xmax=9, xmin=-9)
    # plt.ylim(ymax=9, ymin=-9)
    color = ["red","yellow","blue","green","black","purple","pink","brown","gray","Orange"]
    colors = []
    for target in label:
        colors.append(color[target])
    plt.subplot(121)
    plt.title("LDA 降維可視化")
    plt.scatter(dataLDA.T[0], dataLDA.T[1], s=10,c=colors)
    plt.subplot(122)
    plt.title("PCA 降維可視化")
    plt.scatter(dataPCA.T[0], dataPCA.T[1], s=10, c=colors)

    #plt.legend()
    plt.show()

def plot_embedding(X,title=None):
    x_min, x_max = np.min(X, 0), np.max(X, 0)
    X = (X - x_min) / (x_max - x_min)  # 對(duì)每一個(gè)維度進(jìn)行0-1歸一化，注意此時(shí)X只有兩個(gè)維度
    colors = ['#5dbe80', '#2d9ed8', '#a290c4', '#efab40', '#eb4e4f', '#929591','#ababab','#eeeeee','#aaaaaa','#213832']

    ax = plt.subplot()

    # 畫出樣本點(diǎn)
    for i in range(X.shape[0]):  # 每一行代表一個(gè)樣本
        plt.text(X[i, 0], X[i, 1], str(label[i]),
                 # color=plt.cm.Set1(y[i] / 10.),
                 color=colors[label[i]],
                 fontdict={'weight': 'bold', 'size': 9})  # 在樣本點(diǎn)所在位置畫出樣本點(diǎn)的數(shù)字標(biāo)簽

    # 在樣本點(diǎn)上畫出縮略圖，并保證縮略圖夠稀疏不至于相互覆蓋
    if hasattr(offsetbox, 'AnnotationBbox'):
        shown_images = np.array([[1., 1.]])  # 假設(shè)最開始出現(xiàn)的縮略圖在(1,1)位置上
        for i in range(data.shape[0]):
            dist = np.sum((X[i] - shown_images) ** 2, 1)  # 算出樣本點(diǎn)與所有展示過的圖片（shown_images）的距離
            if np.min(dist) < 4e-3:  # 若最小的距離小于4e-3，即存在有兩個(gè)樣本點(diǎn)靠的很近的情況，則通過continue跳過展示該數(shù)字圖片縮略圖
                continue
            shown_images = np.r_[shown_images, [X[i]]]  # 展示縮略圖的樣本點(diǎn)通過縱向拼接加入到shown_images矩陣中

            imagebox = offsetbox.AnnotationBbox(
                offsetbox.OffsetImage(datasets.load_digits().images[i], cmap=plt.cm.gray_r),
                X[i])
            ax.add_artist(imagebox)

    #plt.xticks([]), plt.yticks([])  # 不顯示橫縱坐標(biāo)刻度
    if title is not None:
        plt.title(title)

    plt.show()

data = datasets.load_digits().data#一個(gè)數(shù)64維，1797個(gè)數(shù)
label = datasets.load_digits().target
dataLDA = calLDA(2)
dataPCA = calPCA(2)

#draw() #普通圖


plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

plot_embedding(dataLDA,"LDA 降維可視化")
plot_embedding(dataPCA,"PCA 降維可視化")

3. 福利送書

點(diǎn)贊,、評(píng)論即可在參與評(píng)論區(qū)的抽獎(jiǎng)活動(dòng)，抽一位小伙伴送書~

• 零基礎(chǔ)也能快速入門,。本書從最基礎(chǔ)的高等數(shù)學(xué)基礎(chǔ)講起，由淺入深，層層遞進(jìn)，在鞏固固有知識(shí)的同時(shí)深入講解人工智能的算法原理，無論讀者是否從事計(jì)算機(jī)相關(guān)行業(yè)，是否接觸過人工智能，都能通過本書實(shí)現(xiàn)快速入門。
• 全新視角介紹數(shù)學(xué)知識(shí),。采用計(jì)算機(jī)程序模擬數(shù)學(xué)推論的介紹方法，使數(shù)學(xué)知識(shí)更為清晰易懂，更容易讓初學(xué)者深入理解數(shù)學(xué)定理,、公式的意義，從而激發(fā)起讀者的學(xué)習(xí)興趣,。
• 理論和實(shí)踐相結(jié)合。每章最后提供根據(jù)所在章的理論知識(shí)點(diǎn)精心設(shè)計(jì)的“綜合性實(shí)例”，讀者可以通過綜合案例進(jìn)行實(shí)踐操作，為以后的算法學(xué)習(xí)奠定基礎(chǔ),。
• 大量范例源碼+習(xí)題答案，為學(xué)習(xí)排憂解難,。本書所有示例都有清晰完整的源碼，每章之后設(shè)有習(xí)題并配套題目答案，講解清晰，解決讀者在學(xué)習(xí)中的所有困惑。

【作者簡(jiǎn)介】

• 唐宇迪，計(jì)算機(jī)專業(yè)博士，網(wǎng)易云課堂人工智能認(rèn)證行家，51CTO學(xué)院講師，CSDN博客專家,。
• 李琳，河南工業(yè)大學(xué)副教授，在軟件工程,、機(jī)器學(xué)習(xí)、人工智能和模式識(shí)別等領(lǐng)域有深入研究,。
• 侯惠芳，教授，解放軍信息工程大學(xué)通信與信息系統(tǒng)專業(yè)博士，擅長(zhǎng)機(jī)器學(xué)習(xí),、大數(shù)據(jù)檢索、人工智能和模式識(shí)別等,。
• 王社偉，河南工業(yè)大學(xué)副教授，西北工業(yè)大學(xué)航空宇航制造專業(yè)博士，挪威科技大學(xué)訪問學(xué)者，對(duì)數(shù)字化制造,、企業(yè)管理系統(tǒng)、機(jī)器學(xué)習(xí),、數(shù)據(jù)挖掘等有豐富的實(shí)戰(zhàn)經(jīng)驗(yàn),。

最后

小生凡一，期待你的關(guān)注。