介紹

優(yōu)化

優(yōu)化是找到做某事的最佳方式的科學(xué)。毫不奇怪,，它在許多領(lǐng)域都很普遍，包括工程,、科學(xué),、商業(yè),、金融等等。我們想找到實(shí)現(xiàn)利潤最大化、故障最小化,、節(jié)省燃料等的方法,。

在最簡單的形式中,，優(yōu)化問題以函數(shù)形式給出，我們尋找該函數(shù)變?yōu)樽钚≈祷蜃畲笾档狞c(diǎn),。

作為例子，我會從金融中挑選一個問題,，稱為 Markowitz Portfolio,。假設(shè)我持有兩種風(fēng)險(xiǎn)證券，其回報(bào)率的方差分別為 σ? 和 σ?,。它們的協(xié)方差是c,。我應(yīng)該持有每種證券的多少百分比才能使投資組合的方差最小化？

設(shè)w是投資于第一個證券的投資組合的一部分,，這意味著投資于第二個證券的部分是(1-w),。給定這些參數(shù)，兩種證券組合的總方差可以寫成（推導(dǎo)見此處）：

為了解決這個問題,，我們必須找到一個w來最小化這個方差。

方法

在上面的示例中,，問題被建模為一個未知變量的函數(shù)。我們尋求將導(dǎo)致函數(shù)最小值的值。我們應(yīng)該首先明確我們所說的最低限度的意思。

最小值的定義

設(shè)是一個集合,，f:→?是從這個集合到實(shí)數(shù)的函數(shù)。f 在 ?∈ 處有一個局部最小值，如果存在 ? 的鄰域使得對于所有∈ ()≥(?),。如果()≥(?)?∈,，則? 是全局最小值,。

我還沒有定義我所說的社區(qū)是什么意思,。直觀上,，它意味著 的一個子集，由靠近 的點(diǎn)組成,。為了確定點(diǎn)是近還是遠(yuǎn),，我們需要一些在集合 上定義的距離度量。幸運(yùn)的是,，實(shí)線以及任何歐幾里德空間都配備了距離的自然度量,。

如果x和y是 n 維向量空間中的點(diǎn)，我們可以將它們寫成坐標(biāo)x=(x?, x?, .., x?) 和 y=(y?, y?, …, y?),。x和y之間的距離由它們的差范數(shù)給出：

解決優(yōu)化問題的關(guān)鍵結(jié)果是以下微積分定理：

定理：必要的最優(yōu)性條件

設(shè) f: ??→? 是一個連續(xù)的可微分函數(shù),。如果 在 ?處有局部最小值，則 ?( ? )=0,。

反之并不總是正確的,，但如果 具有二階導(dǎo)數(shù)，則存在更強(qiáng)的條件來保證最小值,。

在 ?處有一個局部最小值當(dāng)且僅當(dāng) ?( ? )=0 且 ?2( ? )≥0

請注意,，?代表向量 (?/?1,…?/?)。在一維情況下,，這就是著名的導(dǎo)數(shù)/,。

下圖，說明了函數(shù):?→? 以及導(dǎo)數(shù)為 0 的各個點(diǎn),。

此屬性建議使用一種簡單的算法來尋找最小值：找到函數(shù)導(dǎo)數(shù)為 0 的所有點(diǎn),。如果有多個，則計(jì)算每個點(diǎn)處的函數(shù)值,，然后選擇最小值,。

使用這個算法，我們現(xiàn)在可以解決方差最小化問題：

限制

我們有一個強(qiáng)大的工具來計(jì)算大量維度的最優(yōu)性,。然而,，到目前為止，這個框架仍然存在無法解決的問題,?？紤]以下問題：

我畫了一個函數(shù)()的圖形：?→?在兩點(diǎn)1和2之間。然后我圍繞 t 軸旋轉(zhuǎn)圖形以創(chuàng)建一個曲面,。如此描述的表面面積由下式給出（參見此維基百科頁面）：

這是一個旋轉(zhuǎn)表面的例子

我們感興趣的是找到導(dǎo)致最小面積旋轉(zhuǎn)表面的兩個固定點(diǎn)之間的函數(shù),。這個問題不能用我們目前開發(fā)的方法來解決，因?yàn)槲覀儾恢皇窃趯ふ乙粋€數(shù)字,，而是在尋找一個完整的函數(shù),。

導(dǎo)數(shù)

上述類型的問題需要優(yōu)化另一個函數(shù)的函數(shù),。這樣的函數(shù)通常稱為Functional。我們可以將泛函視為函數(shù):→?,，其中是一個函數(shù)空間,。與我們之前解決的域 :??→? 具有有限維度的問題不同，這個新的函數(shù)空間具有潛在的無限維度,。

我們甚至可以在無限維空間中取導(dǎo)數(shù)嗎,？

首先要做的是仔細(xì)查看導(dǎo)數(shù)的定義,，看看如何擴(kuò)展它,。在微積分課上，點(diǎn)的導(dǎo)數(shù)通常定義為

即使在這個簡單的一維定義中,，也必須小心,，因?yàn)槿绻覀儚淖筮叄?/span>h負(fù)）或從右邊（h正）接近 0，我們可能會得到不同的結(jié)果,。

定義：變分導(dǎo)數(shù)

令 :→? 是定義在向量空間 V（可能是無限維）上的實(shí)值函數(shù),。在方向?的由下式給出

其中 是正實(shí)數(shù)。

請注意,，此導(dǎo)數(shù)通常取決于方向向量 ?,。如果在計(jì)算導(dǎo)數(shù)時，我們發(fā)現(xiàn)它與 ? 無關(guān),，那么這是一個好兆頭,，因?yàn)檫@意味著導(dǎo)數(shù)可能在每個方向上都有很好的定義。

歐拉拉格朗日方程

我們現(xiàn)在可以引入和求解歐拉-拉格朗日方程,。

給定未知函數(shù) x 及其導(dǎo)數(shù)的已知泛函L,，找到使以下積分最小化的函數(shù) x：

這是無限維空間中的優(yōu)化問題。
事實(shí)證明,，情況類似于有限維情況,。
我們尋找I的導(dǎo)數(shù)等于 0 的地方。

準(zhǔn)備

是變量 和 及其導(dǎo)數(shù)的函數(shù),。(,˙) 可以看作是兩個變量(,) 的函數(shù),。任何此類函數(shù) 在點(diǎn) ( ′, ′) 的泰勒展開由下式給出

導(dǎo)數(shù)的計(jì)算

現(xiàn)在，我將使用變分導(dǎo)數(shù) lim{e→0} ( e?)?() 的定義,。

首先,，我計(jì)算 ( ?)?()，其中 是一個小數(shù),，? 是一個任意函數(shù),。然而，這并不是完全任意的,。必須選擇函數(shù)h,，使端點(diǎn) ? 和 ? 處的值保持不變,。換句話說，我們必須有(?) ?(?)=(?),，從中我得到?(?)=0,。? 也是如此。下圖說明了這個想法,。

但由于 ? 是一個（幾乎）任意函數(shù),，因此對于每個 ? 成立的唯一方法是如果積分等于 0。

歐拉拉格朗日方程

應(yīng)用：革命的表面

讓我們回到之前遇到的問題,。我們想在最小面積的兩點(diǎn)之間找到一個旋轉(zhuǎn)面：

結(jié)論

我們已經(jīng)看到,，通過從微積分創(chuàng)建眾所周知的導(dǎo)數(shù)的推廣，我們可以將用于解決有限維優(yōu)化問題的相同原理應(yīng)用于無限維空間,。我們直接用導(dǎo)數(shù)的定義推導(dǎo)了歐拉-拉格朗日方程,，在物理學(xué)等領(lǐng)域有著廣泛的應(yīng)用。

一些評論是為了：

• 這不是一篇數(shù)學(xué)論文,，因此有些斷言是在沒有證據(jù)或理由的情況下做出的,。我的意圖是專注于基本要素而不是技術(shù)細(xì)節(jié)。
• 在歐拉-拉格朗日方程的推導(dǎo)中,，為了提高可讀性,，我省略了 L 對時間參數(shù) t 的顯式依賴。如果參數(shù)存在,，結(jié)果不變,。
• 可以使用相同的方法推導(dǎo)多個變量的歐拉-拉格朗日方程