|
在過去的一年中,，我一直在數(shù)學(xué)的海洋中游蕩，research進(jìn)展不多,，對(duì)于數(shù)學(xué)世界的閱歷算是有了一些長(zhǎng)進(jìn),。 為什么要深入數(shù)學(xué)的世界 作為計(jì)算機(jī)的學(xué)生，我沒有任何企圖要成為一個(gè)數(shù)學(xué)家,。我學(xué)習(xí)數(shù)學(xué)的目的,，是要 想爬上巨人的肩膀，希望站在更高的高度,，能把我自己研究的東西看得更深廣一些,。說起來,，我在剛來這個(gè)學(xué)校的時(shí)候，并沒有預(yù)料到我將會(huì)有一個(gè)深入數(shù)學(xué)的旅 程,。我的導(dǎo)師最初希望我去做的題目,，是對(duì)appearance和motion建立一個(gè)unified的model。這個(gè)題目在當(dāng)今Computer Vision中百花齊放的世界中并沒有任何特別的地方,。事實(shí)上,，使用各種Graphical Model把各種東西聯(lián)合在一起framework，在近年的論文中并不少見,。 我不否認(rèn)現(xiàn)在廣泛流行的Graphical Model是對(duì)復(fù)雜現(xiàn)象建模的有力工具,，但是，我認(rèn)為它不是panacea,，并不能取代對(duì)于所研究的問題的深入的鉆研。如果統(tǒng)計(jì)學(xué)習(xí)包治百病,，那么很多 “下游”的學(xué)科也就沒有存在的必要了,。事實(shí)上，開始的時(shí)候,，我也是和Vision中很多人一樣,，想著去做一個(gè)Graphical Model——我的導(dǎo)師指出，這樣的做法只是重復(fù)一些標(biāo)準(zhǔn)的流程,，并沒有很大的價(jià)值,。經(jīng)過很長(zhǎng)時(shí)間的反復(fù)，另外一個(gè)路徑慢慢被確立下來——我們相信,，一個(gè) 圖像是通過大量“原子”的某種空間分布構(gòu)成的,，原子群的運(yùn)動(dòng)形成了動(dòng)態(tài)的可視過程。微觀意義下的單個(gè)原子運(yùn)動(dòng),，和宏觀意義下的整體分布的變換存在著深刻的 聯(lián)系——這需要我們?nèi)グl(fā)掘,。 在深入探索這個(gè)題目的過程中，遇到了很多很多的問題,，如何描述一個(gè)一般的運(yùn)動(dòng)過程,，如何建立一個(gè)穩(wěn)定并且廣泛適用的原子表達(dá)，如何刻畫微觀運(yùn)動(dòng)和宏觀分布變換的聯(lián)系,，還有很多,。在這個(gè)過程中，我發(fā)現(xiàn)了兩個(gè)事情： 我原有的數(shù)學(xué)基礎(chǔ)已經(jīng)遠(yuǎn)遠(yuǎn)不能適應(yīng)我對(duì)這些問題的深入研究,。 在數(shù)學(xué)中,，有很多思想和工具，是非常適合解決這些問題的,，只是沒有被很多的應(yīng)用科學(xué)的研究者重視,。 于是,，我決心開始深入數(shù)學(xué)這個(gè)浩瀚大海，希望在我再次走出來的時(shí)候,，我已經(jīng)有了更強(qiáng)大的武器去面對(duì)這些問題的挑戰(zhàn),。 我的游歷并沒有結(jié)束，我的視野相比于這個(gè)博大精深的世界的依舊顯得非常狹窄,。在這里,，我只是說說，在我的眼中,，數(shù)學(xué)如何一步步從初級(jí)向高級(jí)發(fā)展,，更高級(jí)別的數(shù)學(xué)對(duì)于具體應(yīng)用究竟有何好處。 集合論：現(xiàn)代數(shù)學(xué)的共同基礎(chǔ) 現(xiàn)代數(shù)學(xué)有數(shù)不清的分支,，但是,，它們都有一個(gè)共同的基礎(chǔ)——集合論——因?yàn)?它，數(shù)學(xué)這個(gè)龐大的家族有個(gè)共同的語言,。集合論中有一些最基本的概念：集合(set),，關(guān)系(relation)，函數(shù)(function),，等價(jià) (equivalence),，是在其它數(shù)學(xué)分支的語言中幾乎必然存在的。對(duì)于這些簡(jiǎn)單概念的理解,，是進(jìn)一步學(xué)些別的數(shù)學(xué)的基礎(chǔ),。我相信，理工科大學(xué)生對(duì)于 這些都不會(huì)陌生,。 不過,，有一個(gè)很重要的東西就不見得那么家喻戶曉了——那就是“選擇公理” (Axiom of Choice)。這個(gè)公理的意思是“任意的一群非空集合,，一定可以從每個(gè)集合中各拿出一個(gè)元素,。”——似乎是顯然得不能再顯然的命題,。不過,，這個(gè)貌似平常 的公理卻能演繹出一些比較奇怪的結(jié)論，比如巴拿赫-塔斯基分球定理——“一個(gè)球,，能分成五個(gè)部分,，對(duì)它們進(jìn)行一系列剛性變換（平移旋轉(zhuǎn)）后，能組合成兩個(gè)一樣大小的球”,。正因?yàn)檫@些完全有悖常識(shí)的結(jié)論,，導(dǎo)致數(shù)學(xué)界曾經(jīng)在相當(dāng)長(zhǎng)時(shí)間里對(duì)于是否接受它有著激烈爭(zhēng)論。現(xiàn)在,，主流數(shù)學(xué)家對(duì)于它應(yīng)該是基本接受的,，因?yàn)楹芏鄶?shù)學(xué)分支的重要定理都依賴于它,。在我們后面要回說到的學(xué)科里面，下面的定理依賴于選擇公理： 拓?fù)鋵W(xué)：Baire Category Theorem 實(shí)分析（測(cè)度理論）：Lebesgue 不可測(cè)集的存在性 泛函分析四個(gè)主要定理：Hahn-Banach Extension Theorem, Banach-Steinhaus Theorem (Uniform boundedness principle), Open Mapping Theorem, Closed Graph Theorem 在集合論的基礎(chǔ)上,，現(xiàn)代數(shù)學(xué)有兩大家族：分析(Analysis)和代數(shù)(Algebra),。至于其它的，比如幾何和概率論,，在古典數(shù)學(xué)時(shí)代,，它們是和代數(shù)并列的，但是它們的現(xiàn)代版本則基本是建立在分析或者代數(shù)的基礎(chǔ)上,，因此從現(xiàn)代意義說,，它們和分析與代數(shù)并不是平行的關(guān)系。 分析：在極限基礎(chǔ)上建立的宏偉大廈 微積分：分析的古典時(shí)代——從牛頓到柯西 先說說分析(Analysis)吧,，它是從微積分(Caculus)發(fā)展起來 的——這也是有些微積分教材名字叫“數(shù)學(xué)分析”的原因,。不過，分析的范疇遠(yuǎn)不只是這些,，我們?cè)诖髮W(xué)一年級(jí)學(xué)習(xí)的微積分只能算是對(duì)古典分析的入門,。分析研究 的對(duì)象很多，包括導(dǎo)數(shù)(derivatives),，積分(integral),，微分方程(differential equation),，還有級(jí)數(shù)(infinite series)——這些基本的概念,，在初等的微積分里面都有介紹。如果說有一個(gè)思想貫穿其中,，那就是極限——這是整個(gè)分析（不僅僅是微積分）的靈魂,。 一個(gè)很多人都聽說過的故事，就是牛頓(Newton)和萊布尼茨 (Leibniz)關(guān)于微積分發(fā)明權(quán)的爭(zhēng)論,。事實(shí)上,，在他們的時(shí)代，很多微積分的工具開始運(yùn)用在科學(xué)和工程之中,，但是,，微積分的基礎(chǔ)并沒有真正建立。那個(gè) 長(zhǎng)時(shí)間一直解釋不清楚的“無窮小量”的幽靈,，困擾了數(shù)學(xué)界一百多年的時(shí)間——這就是“第二次數(shù)學(xué)危機(jī)”,。直到柯西用數(shù)列極限的觀點(diǎn)重新建立了微積分的基本 概念，這門學(xué)科才開始有了一個(gè)比較堅(jiān)實(shí)的基礎(chǔ),。直到今天,，整個(gè)分析的大廈還是建立在極限的基石之上。 柯西(Cauchy)為分析的發(fā)展提供了一種嚴(yán)密的語言,，但是他并沒有解決微 積分的全部問題,。在19世紀(jì)的時(shí)候,，分析的世界仍然有著一些揮之不去的烏云。而其中最重要的一個(gè)沒有解決的是“函數(shù)是否可積的問題”,。我們?cè)诂F(xiàn)在的微積分 課本中學(xué)到的那種通過“無限分割區(qū)間,，取矩陣面積和的極限”的積分，是大約在1850年由黎曼(Riemann)提出的,，叫做黎曼積分,。但是，什么函數(shù)存 在黎曼積分呢（黎曼可積）,？數(shù)學(xué)家們很早就證明了,，定義在閉區(qū)間內(nèi)的連續(xù)函數(shù)是黎曼可積的?？墒?，這樣的結(jié)果并不令人滿意，工程師們需要對(duì)分段連續(xù)函數(shù)的 函數(shù)積分,。 實(shí)分析：在實(shí)數(shù)理論和測(cè)度理論上建立起現(xiàn)代分析 在19世紀(jì)中后期,，不連續(xù)函數(shù)的可積性問題一直是分析的重要課題。對(duì)于定義在 閉區(qū)間上的黎曼積分的研究發(fā)現(xiàn),，可積性的關(guān)鍵在于“不連續(xù)的點(diǎn)足夠少”,。只有有限處不連續(xù)的函數(shù)是可積的，可是很多有數(shù)學(xué)家們構(gòu)造出很多在無限處不連續(xù)的 可積函數(shù),。顯然,，在衡量點(diǎn)集大小的時(shí)候，有限和無限并不是一種合適的標(biāo)準(zhǔn),。在探討“點(diǎn)集大小”這個(gè)問題的過程中,，數(shù)學(xué)家發(fā)現(xiàn)實(shí)數(shù)軸——這個(gè)他們?cè)?jīng)以為已 經(jīng)充分理解的東西——有著許多他們沒有想到的特性。在極限思想的支持下,，實(shí)數(shù)理論在這個(gè)時(shí)候被建立起來,，它的標(biāo)志是對(duì)實(shí)數(shù)完備性進(jìn)行刻畫的幾條等價(jià)的定理 （確界定理，區(qū)間套定理,，柯西收斂定理,，Bolzano-Weierstrass Theorem和Heine-Borel Theorem等等）——這些定理明確表達(dá)出實(shí)數(shù)和有理數(shù)的根本區(qū)別：完備性（很不嚴(yán)格的說，就是對(duì)極限運(yùn)算封閉）,。隨著對(duì)實(shí)數(shù)認(rèn)識(shí)的深入,，如何測(cè)量“點(diǎn) 集大小”的問題也取得了突破，勒貝格創(chuàng)造性地把關(guān)于集合的代數(shù),，和Outer content（就是“外測(cè)度”的一個(gè)雛形）的概念結(jié)合起來,，建立了測(cè)度理論(Measure Theory)，并且進(jìn)一步建立了以測(cè)度為基礎(chǔ)的積分——勒貝格(Lebesgue Integral),。在這個(gè)新的積分概念的支持下,，可積性問題變得一目了然,。 上面說到的實(shí)數(shù)理論，測(cè)度理論和勒貝格積分,，構(gòu)成了我們現(xiàn)在稱為實(shí)分析 (Real Analysis)的數(shù)學(xué)分支,，有些書也叫實(shí)變函數(shù)論。對(duì)于應(yīng)用科學(xué)來說,，實(shí)分析似乎沒有古典微積分那么“實(shí)用”——很難直接基于它得到什么算法,。而且， 它要解決的某些“難題”——比如處處不連續(xù)的函數(shù),，或者處處連續(xù)而處處不可微的函數(shù)——在工程師的眼中,，并不現(xiàn)實(shí)。但是,，我認(rèn)為,，它并不是一種純數(shù)學(xué)概念 游戲，它的現(xiàn)實(shí)意義在于為許多現(xiàn)代的應(yīng)用數(shù)學(xué)分支提供堅(jiān)實(shí)的基礎(chǔ),。下面,，我僅僅列舉幾條它的用處： 黎曼可積的函數(shù)空間不是完備的，但是勒貝格可積的函數(shù)空間是完備的,。簡(jiǎn)單的 說,，一個(gè)黎曼可積的函數(shù)列收斂到的那個(gè)函數(shù)不一定是黎曼可積的，但是勒貝格可積的函數(shù)列必定收斂到一個(gè)勒貝格可積的函數(shù),。在泛函分析,，還有逼近理論中，經(jīng) 常需要討論“函數(shù)的極限”,，或者“函數(shù)的級(jí)數(shù)”,，如果用黎曼積分的概念,，這種討論幾乎不可想像,。我們有時(shí)看一些paper中提到Lp函數(shù)空間，就是基于勒 貝格積分,。 勒貝格積分是傅立葉變換（這東西在工程中到處都是）的基礎(chǔ),。很多關(guān)于信號(hào)處理的初等教材，可能繞過了勒貝格積分,，直接講點(diǎn)面對(duì)實(shí)用的東西而不談它的數(shù)學(xué)基礎(chǔ),，但是，對(duì)于深層次的研究問題——特別是希望在理論中能做一些工作——這并不是總能繞過去,。 在下面,，我們還會(huì)看到，測(cè)度理論是現(xiàn)代概率論的基礎(chǔ),。 拓?fù)鋵W(xué)：分析從實(shí)數(shù)軸推廣到一般空間——現(xiàn)代分析的抽象基礎(chǔ) 隨著實(shí)數(shù)理論的建立,，大家開始把極限和連續(xù)推廣到更一般的地方的分析,。事實(shí) 上，很多基于實(shí)數(shù)的概念和定理并不是實(shí)數(shù)特有的,。很多特性可以抽象出來,，推廣到更一般的空間里面。對(duì)于實(shí)數(shù)軸的推廣,，促成了點(diǎn)集拓?fù)鋵W(xué)(Point- set Topology)的建立,。很多原來只存在于實(shí)數(shù)中的概念，被提取出來,，進(jìn)行一般性的討論,。在拓?fù)鋵W(xué)里面，有4個(gè)C構(gòu)成了它的核心： Closed set（閉集合）,。在現(xiàn)代的拓?fù)鋵W(xué)的公理化體系中,，開集和閉集是最基本的概念。一切從此引申,。這兩個(gè)概念是開區(qū)間和閉區(qū)間的推廣,，它們的根本地位，并不是 一開始就被認(rèn)識(shí)到的,。經(jīng)過相當(dāng)長(zhǎng)的時(shí)間,，人們才認(rèn)識(shí)到：開集的概念是連續(xù)性的基礎(chǔ)，而閉集對(duì)極限運(yùn)算封閉——而極限正是分析的根基,。 Continuous function （連續(xù)函數(shù)）,。連續(xù)函數(shù)在微積分里面有個(gè)用epsilon-delta語言給出的定義，在拓?fù)鋵W(xué)中它的定義是“開集的原像是開集的函數(shù)”,。第二個(gè)定義和第 一個(gè)是等價(jià)的,，只是用更抽象的語言進(jìn)行了改寫。我個(gè)人認(rèn)為,，它的第三個(gè)（等價(jià)）定義才從根本上揭示連續(xù)函數(shù)的本質(zhì)——“連續(xù)函數(shù)是保持極限運(yùn)算的函數(shù)” ——比如y是數(shù)列x1, x2, x3, … 的極限,， 那么如果 f 是連續(xù)函數(shù)，那么 f(y) 就是 f(x1), f(x2), f(x3), …的極限,。連續(xù)函數(shù)的重要性,，可以從別的分支學(xué)科中進(jìn)行類比。比如群論中,，基礎(chǔ)的運(yùn)算是“乘法”,，對(duì)于群，最重要的映射叫“同態(tài)映射”——保持“乘法”的 映射,。在分析中,，基礎(chǔ)運(yùn)算是“極限”，因此連續(xù)函數(shù)在分析中的地位，和同態(tài)映射在代數(shù)中的地位是相當(dāng)?shù)摹? Connected set （連通集合）,。比它略為窄一點(diǎn)的概念叫(Path connected),，就是集合中任意兩點(diǎn)都存在連續(xù)路徑相連——可能是一般人理解的概念。一般意義下的連通概念稍微抽象一些,。在我看來,，連通性有兩個(gè)重 要的用場(chǎng)：一個(gè)是用于證明一般的中值定理(Intermediate Value Theorem)，還有就是代數(shù)拓?fù)?，拓?fù)淙赫摵屠钊赫撝杏懻摳救?Fundamental Group)的階,。 Compact set（緊集）。Compactness似乎在初等微積分里面沒有專門出現(xiàn),，不過有幾條實(shí)數(shù)上的定理和它其實(shí)是有關(guān)系的,。比如，“有界數(shù)列必然存在收斂子 列”——用compactness的語言來說就是——“實(shí)數(shù)空間中有界閉集是緊的”,。它在拓?fù)鋵W(xué)中的一般定義是一個(gè)聽上去比較抽象的東西——“緊集的任意 開覆蓋存在有限子覆蓋”,。這個(gè)定義在討論拓?fù)鋵W(xué)的定理時(shí)很方便，它在很多時(shí)候能幫助實(shí)現(xiàn)從無限到有限的轉(zhuǎn)換,。對(duì)于分析來說,，用得更多的是它的另一種形式 ——“緊集中的數(shù)列必存在收斂子列”——它體現(xiàn)了分析中最重要的“極限”。Compactness在現(xiàn)代分析中運(yùn)用極廣,，無法盡述,。微積分中的兩個(gè)重要定 理：極值定理(Extreme Value Theory)，和一致收斂定理(Uniform Convergence Theorem)就可以借助它推廣到一般的形式,。 從某種意義上說,，點(diǎn)集拓?fù)鋵W(xué)可以看成是關(guān)于“極限”的一般理論，它抽象于實(shí)數(shù)理論,，它的概念成為幾乎所有現(xiàn)代分析學(xué)科的通用語言,，也是整個(gè)現(xiàn)代分析的根基所在。 微分幾何：流形上的分析——在拓?fù)淇臻g上引入微分結(jié)構(gòu) 拓?fù)鋵W(xué)把極限的概念推廣到一般的拓?fù)淇臻g,，但這不是故事的結(jié)束,，而僅僅是開 始。在微積分里面,，極限之后我們有微分,，求導(dǎo),，積分,。這些東西也可以推廣到拓?fù)淇臻g，在拓?fù)鋵W(xué)的基礎(chǔ)上建立起來——這就是微分幾何,。從教學(xué)上說,，微分幾何 的教材，有兩種不同的類型,，一種是建立在古典微機(jī)分的基礎(chǔ)上的“古典微分幾何”,，主要是關(guān)于二維和三維空間中的一些幾何量的計(jì)算,，比如曲率。還有一種是建 立在現(xiàn)代拓?fù)鋵W(xué)的基礎(chǔ)上,，這里姑且稱為“現(xiàn)代微分幾何”——它的核心概念就是“流形”(manifold)——就是在拓?fù)淇臻g的基礎(chǔ)上加了一套可以進(jìn)行微 分運(yùn)算的結(jié)構(gòu)?，F(xiàn)代微分幾何是一門非常豐富的學(xué)科。比如一般流形上的微分的定義就比傳統(tǒng)的微分豐富,，我自己就見過三種從不同角度給出的等價(jià)定義——這一方 面讓事情變得復(fù)雜一些,，但是另外一個(gè)方面它給了同一個(gè)概念的不同理解，往往在解決問題時(shí)會(huì)引出不同的思路,。除了推廣微積分的概念以外,，還引入了很多新概 念：tangent space, cotangent space, push forward, pull back, fibre bundle, flow, immersion, submersion 等等。 近些年,，流形在machine learning似乎相當(dāng)時(shí)髦,。但是，坦率地說,，要弄懂一些基本的流形算法,， 甚至“創(chuàng)造”一些流形算法，并不需要多少微分幾何的基礎(chǔ),。對(duì)我的研究來說,，微分幾何最重要的應(yīng)用就是建立在它之上的另外一個(gè)分支：李群和李代數(shù)——這是數(shù) 學(xué)中兩大家族分析和代數(shù)的一個(gè)漂亮的聯(lián)姻。分析和代數(shù)的另外一處重要的結(jié)合則是泛函分析,，以及在其基礎(chǔ)上的調(diào)和分析,。 代數(shù)：一個(gè)抽象的世界 關(guān)于抽象代數(shù) 回過頭來，再說說另一個(gè)大家族——代數(shù),。 如果說古典微積分是分析的入門,，那么現(xiàn)代代數(shù)的入門點(diǎn)則是兩個(gè)部分：線性代數(shù)(linear algebra)和基礎(chǔ)的抽象代數(shù)(abstract algebra)——據(jù)說國(guó)內(nèi)一些教材稱之為近世代數(shù)。 代數(shù)——名稱上研究的似乎是數(shù),，在我看來,，主要研究的是運(yùn)算規(guī)則。一門代數(shù),， 其實(shí)都是從某種具體的運(yùn)算體系中抽象出一些基本規(guī)則,，建立一個(gè)公理體系，然后在這基礎(chǔ)上進(jìn)行研究,。一個(gè)集合再加上一套運(yùn)算規(guī)則,，就構(gòu)成一個(gè)代數(shù)結(jié)構(gòu)。在主 要的代數(shù)結(jié)構(gòu)中,，最簡(jiǎn)單的是群(Group)——它只有一種符合結(jié)合率的可逆運(yùn)算,，通常叫“乘法”。如果，這種運(yùn)算也符合交換率,，那么就叫阿貝爾群 (Abelian Group),。如果有兩種運(yùn)算，一種叫加法,，滿足交換率和結(jié)合率,，一種叫乘法，滿足結(jié)合率,，它們之間滿足分配率,，這種豐富一點(diǎn)的結(jié)構(gòu)叫做環(huán)(Ring)， 如果環(huán)上的乘法滿足交換率,，就叫可交換環(huán)(Commutative Ring),。如果，一個(gè)環(huán)的加法和乘法具有了所有的良好性質(zhì),，那么就成為一個(gè)域(Field),。基于域,，我們可以建立一種新的結(jié)構(gòu),，能進(jìn)行加法和數(shù)乘，就 構(gòu)成了線性代數(shù)(Linear algebra),。 代數(shù)的好處在于,，它只關(guān)心運(yùn)算規(guī)則的演繹，而不管參與運(yùn)算的對(duì)象,。只要定義恰 當(dāng),，完全可以讓一只貓乘一只狗得到一頭豬:-)?；诔橄筮\(yùn)算規(guī)則得到的所有定理完全可以運(yùn)用于上面說的貓狗乘法,。當(dāng)然，在實(shí)際運(yùn)用中,，我們還是希望用它 干點(diǎn)有意義的事情,。學(xué)過抽象代數(shù)的都知道，基于幾條最簡(jiǎn)單的規(guī)則,，比如結(jié)合律,，就能導(dǎo)出非常多的重要結(jié)論——這些結(jié)論可以應(yīng)用到一切滿足這些簡(jiǎn)單規(guī)則的地 方——這是代數(shù)的威力所在，我們不再需要為每一個(gè)具體領(lǐng)域重新建立這么多的定理,。 抽象代數(shù)有在一些基礎(chǔ)定理的基礎(chǔ)上,，進(jìn)一步的研究往往分為兩個(gè)流派：研究有限 的離散代數(shù)結(jié)構(gòu)（比如有限群和有限域），這部分內(nèi)容通常用于數(shù)論,，編碼,，和整數(shù)方程這些地方,；另外一個(gè)流派是研究連續(xù)的代數(shù)結(jié)構(gòu),，通常和拓?fù)渑c分析聯(lián)系在 一起（比如拓?fù)淙?，李群）。我在學(xué)習(xí)中的focus主要是后者,。 線性代數(shù)：“線性”的基礎(chǔ)地位 對(duì)于做Learning, vision, optimization或者statistics的人來說,，接觸最多的莫過于線性代數(shù)——這也是我們?cè)诖髮W(xué)低年級(jí)就開始學(xué)習(xí)的。線性代數(shù),，包括建立在它 基礎(chǔ)上的各種學(xué)科,，最核心的兩個(gè)概念是向量空間和線性變換。線性變換在線性代數(shù)中的地位,，和連續(xù)函數(shù)在分析中的地位,，或者同態(tài)映射在群論中的地位是一樣的 ——它是保持基礎(chǔ)運(yùn)算（加法和數(shù)乘）的映射。 在learning中有這樣的一種傾向——鄙視線性算法,，標(biāo)榜非線性,。也許在 很多場(chǎng)合下面，我們需要非線性來描述復(fù)雜的現(xiàn)實(shí)世界,，但是無論什么時(shí)候,，線性都是具有根本地位的。沒有線性的基礎(chǔ),，就不可能存在所謂的非線性推廣,。我們常 用的非線性化的方法包括流形和kernelization，這兩者都需要在某個(gè)階段回歸線性,。流形需要在每個(gè)局部建立和線性空間的映射,，通過把許多局部線 性空間連接起來形成非線性；而kernerlization則是通過置換內(nèi)積結(jié)構(gòu)把原線性空間“非線性”地映射到另外一個(gè)線性空間,，再進(jìn)行線性空間中所能 進(jìn)行的操作,。而在分析領(lǐng)域，線性的運(yùn)算更是無處不在,，微分,，積分，傅立葉變換,，拉普拉斯變換,，還有統(tǒng)計(jì)中的均值，通通都是線性的,。 泛函分析：從有限維向無限維邁進(jìn) 在大學(xué)中學(xué)習(xí)的線性代數(shù),，它的簡(jiǎn)單主要因?yàn)樗窃谟邢蘧S空間進(jìn)行的，因?yàn)橛?限,，我們無須借助于太多的分析手段,。但是,，有限維空間并不能有效地表達(dá)我們的世界——最重要的，函數(shù)構(gòu)成了線性空間,，可是它是無限維的,。對(duì)函數(shù)進(jìn)行的最重 要的運(yùn)算都在無限維空間進(jìn)行，比如傅立葉變換和小波分析,。這表明了,，為了研究函數(shù)（或者說連續(xù)信號(hào)），我們需要打破有限維空間的束縛,，走入無限維的函數(shù)空 間——這里面的第一步,，就是泛函分析。 泛函分析(Functional Analysis)是研究的是一般的線性空間,，包括有限維和無限維,，但是很多東西在有限維下顯得很trivial，真正的困難往往在無限維的時(shí)候出現(xiàn),。在 泛函分析中,，空間中的元素還是叫向量，但是線性變換通常會(huì)叫作“算子”(operator),。除了加法和數(shù)乘,，這里進(jìn)一步加入了一些運(yùn)算，比如加入范數(shù)去 表達(dá)“向量的長(zhǎng)度”或者“元素的距離”,，這樣的空間叫做“賦范線性空間”(normed space),，再進(jìn)一步的，可以加入內(nèi)積運(yùn)算,，這樣的空間叫“內(nèi)積空間”(Inner product space),。 大家發(fā)現(xiàn)，當(dāng)進(jìn)入無限維的時(shí)間時(shí),，很多老的觀念不再適用了,，一切都需要重新審視。 所有的有限維空間都是完備的（柯西序列收斂）,，很多無限維空間卻是不完備的（比如閉區(qū)間上的連續(xù)函數(shù)）,。在這里，完備的空間有特殊的名稱：完備的賦范空間叫巴拿赫空間(Banach space),，完備的內(nèi)積空間叫希爾伯特空間(Hilbert space),。 在有限維空間中空間和它的對(duì)偶空間的是完全同構(gòu)的，而在無限維空間中,，它們存在微妙的差別,。 在有限維空間中，所有線性變換（矩陣）都是有界變換,，而在無限維,，很多算子是無界的(unbounded),，最重要的一個(gè)例子是給函數(shù)求導(dǎo)。 在有限維空間中,，一切有界閉集都是緊的,，比如單位球。而在所有的無限維空間中,，單位球都不是緊的——也就是說,，可以在單位球內(nèi)撒入無限個(gè)點(diǎn),，而不出現(xiàn)一個(gè)極限點(diǎn),。 在有限維空間中，線性變換（矩陣）的譜相當(dāng)于全部的特征值,，在無限維空間 中,，算子的譜的結(jié)構(gòu)比這個(gè)復(fù)雜得多，除了特征值組成的點(diǎn)譜(point spectrum),，還有approximate point spectrum和residual spectrum,。雖然復(fù)雜，但是,，也更為有趣,。由此形成了一個(gè)相當(dāng)豐富的分支——算子譜論(Spectrum theory)。 在有限維空間中,，任何一點(diǎn)對(duì)任何一個(gè)子空間總存在投影,，而在無限維空間中， 這就不一定了,，具有這種良好特性的子空間有個(gè)專門的名稱切比雪夫空間(Chebyshev space),。這個(gè)概念是現(xiàn)代逼近理論的基礎(chǔ)(approximation theory)。函數(shù)空間的逼近理論在Learning中應(yīng)該有著非常重要的作用,，但是現(xiàn)在看到的運(yùn)用現(xiàn)代逼近理論的文章并不多,。 繼續(xù)往前：巴拿赫代數(shù)，調(diào)和分析,，和李代數(shù) 基本的泛函分析繼續(xù)往前走,，有兩個(gè)重要的方向。第一個(gè)是巴拿赫代數(shù) (Banach Algebra),，它就是在巴拿赫空間（完備的內(nèi)積空間）的基礎(chǔ)上引入乘法（這不同于數(shù)乘）,。比如矩陣——它除了加法和數(shù)乘，還能做乘法——這就構(gòu)成了一 個(gè)巴拿赫代數(shù),。除此以外,，值域完備的有界算子，平方可積函數(shù),，都能構(gòu)成巴拿赫代數(shù),。巴拿赫代數(shù)是泛函分析的抽象,，很多對(duì)于有界算子導(dǎo)出的結(jié)論，還有算子譜 論中的許多定理,，它們不僅僅對(duì)算子適用,，它們其實(shí)可以從一般的巴拿赫代數(shù)中得到，并且應(yīng)用在算子以外的地方,。巴拿赫代數(shù)讓你站在更高的高度看待泛函分析中 的結(jié)論,，但是，我對(duì)它在實(shí)際問題中能比泛函分析能多帶來什么東西還有待思考,。 最能把泛函分析和實(shí)際問題在一起的另一個(gè)重要方向是調(diào)和分析 (Harmonic Analysis),。我在這里列舉它的兩個(gè)個(gè)子領(lǐng)域，傅立葉分析和小波分析,，我想這已經(jīng)能說明它的實(shí)際價(jià)值,。它研究的最核心的問題就是怎么用基函數(shù)去逼近 和構(gòu)造一個(gè)函數(shù)。它研究的是函數(shù)空間的問題,，不可避免的必須以泛函分析為基礎(chǔ),。除了傅立葉和小波，調(diào)和分析還研究一些很有用的函數(shù)空間,，比如Hardy space,，Sobolev space，這些空間有很多很好的性質(zhì),，在工程中和物理學(xué)中都有很重要的應(yīng)用,。對(duì)于vision來說，調(diào)和分析在信號(hào)的表達(dá),，圖像的構(gòu)造,，都是非常有用的 工具。 當(dāng)分析和線性代數(shù)走在一起,，產(chǎn)生了泛函分析和調(diào)和分析,；當(dāng)分析和群論走在一 起，我們就有了李群(Lie Group)和李代數(shù)(Lie Algebra),。它們給連續(xù)群上的元素賦予了代數(shù)結(jié)構(gòu),。我一直認(rèn)為這是一門非常漂亮的數(shù)學(xué)：在一個(gè)體系中，拓?fù)?，微分和代?shù)走到了一起,。在一定條件下， 通過李群和李代數(shù)的聯(lián)系,，它讓幾何變換的結(jié)合變成了線性運(yùn)算,，讓子群化為線性子空間，這樣就為L(zhǎng)earning中許多重要的模型和算法的引入到對(duì)幾何運(yùn)動(dòng) 的建模創(chuàng)造了必要的條件,。因此,，我們相信李群和李代數(shù)對(duì)于vision有著重要意義,，只不過學(xué)習(xí)它的道路可能會(huì)很艱辛，在它之前需要學(xué)習(xí)很多別的數(shù)學(xué),。 現(xiàn)代概率論：在現(xiàn)代分析基礎(chǔ)上再生 最后,，再簡(jiǎn)單說說很多Learning的研究者特別關(guān)心的數(shù)學(xué)分支：概率論。 自從Kolmogorov在上世紀(jì)30年代把測(cè)度引入概率論以來,，測(cè)度理論就成為現(xiàn)代概率論的基礎(chǔ),。在這里，概率定義為測(cè)度,，隨機(jī)變量定義為可測(cè)函數(shù),，條 件隨機(jī)變量定義為可測(cè)函數(shù)在某個(gè)函數(shù)空間的投影，均值則是可測(cè)函數(shù)對(duì)于概率測(cè)度的積分,。值得注意的是,，很多的現(xiàn)代觀點(diǎn),，開始以泛函分析的思路看待概率論的 基礎(chǔ)概念,，隨機(jī)變量構(gòu)成了一個(gè)向量空間，而帶符號(hào)概率測(cè)度則構(gòu)成了它的對(duì)偶空間,，其中一方施加于對(duì)方就形成均值,。角度雖然不一樣，不過這兩種方式殊途同 歸,，形成的基礎(chǔ)是等價(jià)的,。 在現(xiàn)代概率論的基礎(chǔ)上，許多傳統(tǒng)的分支得到了極大豐富,，最有代表性的包括鞅論 (Martingale)——由研究賭博引發(fā)的理論,，現(xiàn)在主要用于金融（這里可以看出賭博和金融的理論聯(lián)系，:-P）,，布朗運(yùn)動(dòng)(Brownian Motion)——連續(xù)隨機(jī)過程的基礎(chǔ),，以及在此基礎(chǔ)上建立的隨機(jī)分析(Stochastic Calculus)，包括隨機(jī)積分（對(duì)隨機(jī)過程的路徑進(jìn)行積分,，其中比較有代表性的叫伊藤積分(Ito Integral)）,，和隨機(jī)微分方程。對(duì)于連續(xù)幾何運(yùn)用建立概率模型以及對(duì)分布的變換的研究離不開這些方面的知識(shí),。 終于寫完了——也謝謝你把這么長(zhǎng)的文章看完,，希望其中的一些內(nèi)容對(duì)你是有幫助的。 |
|
|
