本文最初發(fā)表在 Medium 博客,,經(jīng)原作者 Ritwik Ghosh 授權(quán),,InfoQ 中文站翻譯并分享。 Josh Wills 曾說過:數(shù)據(jù)科學(xué)家比任何軟件工程師更擅長(zhǎng)統(tǒng)計(jì)學(xué),,比任何統(tǒng)計(jì)學(xué)家更擅長(zhǎng)軟件工程,。在當(dāng)今世界,只要你隨便詢問一位技術(shù)人員,,他都會(huì)告訴你,,這個(gè)行業(yè)最熱門的工作都與數(shù)據(jù)和機(jī)器學(xué)習(xí)有關(guān)。在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)方面,,已經(jīng)有了大量資源和支持,,統(tǒng)計(jì)學(xué)工具如 R 等編程語言和各種編程語言的庫也在這些努力中誕生了。 現(xiàn)在,,有志于機(jī)器學(xué)習(xí)的人不計(jì)其數(shù),。然而,市場(chǎng)上對(duì)機(jī)器學(xué)習(xí)工程師的需求仍然很大,,因?yàn)樽罱K謀求這一職位的人并不多,。很多人放棄的原因是機(jī)器學(xué)習(xí)工程師職位背后的數(shù)學(xué)知識(shí)令人望而生畏。 盡管機(jī)器學(xué)習(xí)的普及已經(jīng)促使 Python 和 R 產(chǎn)生了許多易于使用并得到廣泛支持的庫,,如 Scikit-learn,、TensorFlow 和 OpenCV 這樣的庫,這些庫確實(shí)讓每個(gè)人的工作變得更容易,,因?yàn)樗鼈兲峁┝四撤N機(jī)器學(xué)習(xí)的捷徑,,似乎繞過了這類操作所需算法背后的數(shù)學(xué)。然而,,機(jī)器學(xué)習(xí)背后的數(shù)學(xué)原理基本不變,。 機(jī)器學(xué)習(xí)的概念主要得益于這四個(gè)數(shù)學(xué)分支:線性代數(shù)、微積分,、統(tǒng)計(jì)學(xué) 和 概率論,。在本文中,我們將大致了解這些數(shù)學(xué)分支在機(jī)器學(xué)習(xí)模型的生命周期中應(yīng)用的原因和時(shí)機(jī),。 機(jī)器學(xué)習(xí)主要依賴于線性代數(shù),,線性代數(shù)用于求解線性方程組。它是利用矩陣和矩陣運(yùn)算來完成的,。任何機(jī)器學(xué)習(xí)模型的數(shù)據(jù)通常以向量和矩陣的形式存儲(chǔ),,其中的值被認(rèn)為是線性方程組的系數(shù),。 矩陣運(yùn)算是首選方法,因?yàn)闄C(jī)器學(xué)習(xí)一般會(huì)處理大量數(shù)據(jù),,因此,,通過各種矩陣運(yùn)算來進(jìn)行標(biāo)量運(yùn)算,如標(biāo)量乘法和除法,,以及向量之間的運(yùn)算,,都比較容易應(yīng)用,而且速度快,,方便快捷,。 線性代數(shù)的知識(shí)對(duì)于決定數(shù)據(jù)應(yīng)如何存儲(chǔ)在矩陣中是很重要的。例如,,一張圖片可以存儲(chǔ)在三個(gè)矩陣中,,每個(gè)元素分別包含了矩陣中每個(gè)像素的紅、綠,、藍(lán)三色值的強(qiáng)度?,F(xiàn)在,由于使用了矩陣來應(yīng)用線性代數(shù),,對(duì)這些像素進(jìn)行操作變得非常容易,。 微積分用來幫助機(jī)器學(xué)習(xí)算法提高預(yù)測(cè)的準(zhǔn)確性。這是通過算法的優(yōu)化過程來實(shí)現(xiàn)的,。這是在微分的幫助下完成的,。利用微分,我們可以通過考慮函數(shù)的梯度來求函數(shù)的極值,。當(dāng)一個(gè)函數(shù)有多個(gè)參數(shù)決定機(jī)器學(xué)習(xí)模型的預(yù)測(cè)結(jié)果時(shí),,就會(huì)用到多元微積分。它也有助于神經(jīng)網(wǎng)絡(luò)模型,,在神經(jīng)網(wǎng)絡(luò)模型中,,微分用來計(jì)算反向傳播誤差。 此外,,在深度學(xué)習(xí)模型中,,積分可以用來計(jì)算損失函數(shù),還可以在連續(xù)值的概率分布中得出特定變量的期望值,。 例如,,經(jīng)典的梯度下降法問題就是優(yōu)化并找出球在碗中滾動(dòng)的最低位置。這個(gè)問題可以通過簡(jiǎn)單的微分來解決,。 當(dāng)一個(gè)算法沒有結(jié)論性的結(jié)果而只有一個(gè)概率分布時(shí),,我們就用概率來進(jìn)行決策。算法可以輸出值的范圍以及這些值應(yīng)為預(yù)期值或?yàn)檎嬷档母怕?。這就是概率論的作用,,決策是基于對(duì)變量的期望值的概率做出的,。任何算法都不可能給出一個(gè)完全盲目且可靠的輸出。因此,,概率是用來決定灰色區(qū)域的結(jié)果,。 例如,如果我們?cè)谝粋€(gè)樣本上找出受帕金森氏病影響的人數(shù)和年齡,,我們就會(huì)得到帕金森氏病患者年齡分布概率?,F(xiàn)在,如果要求我們選擇受影響最大的年齡,,我們可以取一個(gè)年齡區(qū)間,,在這個(gè)年齡區(qū)間中,,受疾病影響的可能性最大,。這種連續(xù)分布的決策過程就需要概率論。 統(tǒng)計(jì)學(xué)是用來從數(shù)據(jù)中得出結(jié)論的,。各種統(tǒng)計(jì)學(xué)方法可以應(yīng)用到一個(gè)數(shù)據(jù)上,,得出不同的結(jié)論,從而更好地理解數(shù)據(jù),。這種理解可以是為了找出數(shù)據(jù)的均值,、極值、范圍,,也可以是比較復(fù)雜的結(jié)論,,如數(shù)據(jù)中的離群值作弊,數(shù)據(jù)給出的函數(shù)的階數(shù)(degree),,數(shù)據(jù)的各種參數(shù)之間的相關(guān)系數(shù),,某個(gè)參數(shù)與算法的預(yù)期輸出的相關(guān)性等等。還有一些假設(shè)檢驗(yàn),,如卡方檢驗(yàn)(Chi-squared test),、z 檢驗(yàn)、p 檢驗(yàn),、方差分析等,,這些檢驗(yàn)是為了檢驗(yàn)我們可能假設(shè)的有效性,并對(duì)給定的數(shù)據(jù)進(jìn)行檢驗(yàn),。
因此,,我們可以看到,機(jī)器學(xué)習(xí)的每一點(diǎn)都嚴(yán)重依賴于數(shù)學(xué),。這就是為什么機(jī)器學(xué)習(xí)工程師需要對(duì)上文提到的數(shù)學(xué)部分有很強(qiáng)的掌握,。 作者介紹: Ritwik Ghosh,博客寫手,,專注科技行業(yè)最熱門話題,。 原文鏈接: https:///analytics-vidhya/role-of-mathematics-in-machine-learning-f070e7cf6128 你也「在看」嗎??? |
|