1 從 t 分布說起

在量化投資領(lǐng)域,，有大量需要進行參數(shù)估計（parameter estimation）的場景。比如在按照馬科維茨的均值方差框架配置資產(chǎn)時,，就必須計算投資品的收益率均值和協(xié)方差矩陣,。很多時候，對于需要的統(tǒng)計量,，僅有點估計（point estimate）是不夠的,，我們更感興趣的是從樣本數(shù)據(jù)得到的點估計和該統(tǒng)計量在未知總體中的真實值之間的誤差。在這方面,，區(qū)間估計 —— 即計算出目標統(tǒng)計量的置信區(qū)間（confidence interval）—— 可以提供我們需要的信息,。

談到置信區(qū)間,，人們最熟悉的當屬計算總體均值（population mean）的置信區(qū)間。這是因為在中心極限定理（Central Limit Theorem）和正態(tài)分布假設(shè)（Normal distribution）下,，總體均值的置信區(qū)間存在一個優(yōu)雅的解析表達,。利用樣本均值和其 standard error 構(gòu)造的 test statistic 滿足 t 分布（Student's t-distribution），通過查表找到置信區(qū)間兩邊各自對應(yīng)的 t 統(tǒng)計量的臨界值（critical value）便可以方便的求出置信區(qū)間,。由于 t 分布是對稱的,，因此總體均值的置信區(qū)間是關(guān)于樣本均值對稱的。

讓我們稱上述計算置信區(qū)間的方法為傳統(tǒng)的 Normal Theory 方法,。我想花點時間來聊聊該方法背后的兩個強大假設(shè)：中心極限定理和正態(tài)分布,。

假設(shè)總體滿足正態(tài)分布，而我們想計算均值的置信區(qū)間,。如果總體的標準差 σ 已知,，則可以使用正態(tài)分布計算均值的置信區(qū)間；如果 σ 未知,，則使用樣本的標準差 s 代替，并且利用 t 分布來代替正態(tài)分布計算均值的計算區(qū)間,。這就是 t 分布被提出來的初衷,。因此，使用 t 分布計算均值的置信區(qū)間隱含著總體分布滿足正態(tài)分布這個假設(shè),。

但是,，對于實際中的問題，總體并不滿足正態(tài)分布,，因此看起來我們不能使用 t 分布計算均值的置信區(qū)間,。好消息是，我們還有另外一個“大招”：中心極限定理,。中心極限定理告訴我們,，不管總體的分布是什么樣，總體的均值近似滿足正態(tài)分布,，因此我們?nèi)匀豢梢允褂?t 分布計算置信區(qū)間,。

中心極限定理是概率論中的一組定理。中心極限定理說明,，大量相互獨立的隨機變量,，其均值的分布以正態(tài)分布為極限。這組定理是數(shù)理統(tǒng)計學(xué)和誤差分析的理論基礎(chǔ),，指出了大量隨機變量之和近似服從正態(tài)分布的條件,。

可見，對于一個未知分布總體均值的推斷,，我們必須倚賴中心極限定理和正態(tài)分布的假設(shè),。如果未知分布非常不規(guī)則或樣本數(shù)不足,，則中心極限定理指出的均值近似為正態(tài)分布便難以成立，而基于 t 分布計算出來的均值置信區(qū)間也不夠準確,。

除了均值外,，對于人們關(guān)心的許多其他統(tǒng)計量，比如中位數(shù),、分位數(shù),、標準差、或者相關(guān)系數(shù),，它們與均值不同,，無法從 Normal Theory 中可以得到優(yōu)雅的解析表達式來計算其置信區(qū)間，因此上述傳統(tǒng)方法無能為力,。

從上面的分析可知,，僅僅掌握傳統(tǒng)的 Normal Theory 方法局限性很大，使得我們在求解置信區(qū)間的很多問題面前舉步維艱,。因此,，今天就給大家介紹一個利器 —— Bootstrap 方法。它在計算統(tǒng)計量的置信區(qū)間時大有可為,。

2 Bootstrap 的由來和原則

The bootstrap is a computer-based method for assigning measures of accuracy to statistical estimates. -- Efron & Tibshirani, An introduction to the bootstrap, 1993

譯：Bootstrap 是一個基于計算機的方法,，它可以計算統(tǒng)計估計的準確性。

自 1979 年以來,，Bootstrap 方法得到了廣泛的推廣,，其始作俑者是 Bradley Efron （Bootstrap 這個詞也是他發(fā)明的）。它的核心思想是通過使用數(shù)據(jù)本身,，從而估計從該數(shù)據(jù)中計算出來的統(tǒng)計數(shù)據(jù)的變化,。現(xiàn)代計算機強大的計算能力使得該方法的實現(xiàn)非常簡單。

有些費解,？別著急,，我馬上解釋 Bootstrap 的意思和它的核心思想。

Bootstrap 一詞出自英文習(xí)語“pull yourself up by your bootstraps”,，它的直譯是“通過拉你自己靴子的鞋帶把你自己從地面上拉起來”,。它的隱含意是“improve your situation by your own efforts”，即“通過你自己的努力（而非他人幫助）來解決困難改善處境”,。因此,，Bootstrap 一詞就代表了“自力更生”。

放到參數(shù)估計的上下文中,，Bootstrap 意味著我們僅僅通過使用手頭上的樣本數(shù)據(jù)（樣本數(shù)據(jù)“自力更生”）而不對總體的分布做任何假設(shè)（比如傳統(tǒng)方法中的正態(tài)分布假設(shè)）,，來計算樣本統(tǒng)計量在估計總體統(tǒng)計量時的誤差。

The central idea is that it may sometimes be better to draw conclusions about the characteristics of a population strictly from the sample at hand, rather than by making perhaps unrealistic assumptions about the population. -- Mooney & Duval, Bootstrapping, 1993

譯：Bootstrap 的核心思想是,，通過手頭的樣本數(shù)據(jù)本身對總體統(tǒng)計量進行推論,，而非基于對于總體分布做出不切實際的假設(shè),。

目標夠偉大（樣本數(shù)據(jù)自力更生），但具體要怎么做呢,？如何僅僅通過（反復(fù)的）使用手頭的數(shù)據(jù)來對同樣從這些數(shù)據(jù)中得到的統(tǒng)計量進行誤差估計呢,？

這里面要用到一個非常重要的技巧：可置換的重采樣（resampling with replacement）。在這個定義中,，“可置換”是核心,。什么是“可置換”呢？舉個例子,。假設(shè)袋子里有標號 1 到 10 的小球,。我們“可置換”地不斷地從袋子里隨機抽出小球。第一次抽出了 3 號小球,；“可置換”是說在下一次抽取之前把 3 號小球重新放回到袋子里,；即在第二次抽取的時候，我們?nèi)匀挥锌赡茉俅纬榈?3 號小球（它和其他 9 個球被抽到的概率是一樣的）,，這便是可置換的含義,。作為對比，生活中更多的是“無置換的抽取”,，比如體彩 36 中 7 或者世界杯抽簽,，抽出的小球都不會再放回池子中。

下面就來看看 Bootstrap 的原則,。假設(shè)我們有如下設(shè)定：

1. 令 v 代表我們感興趣的一個總體統(tǒng)計量（比如均值、中位數(shù),、標準差等）,，它來自未知的總體分布 F。
2. 令 x1, x2, …, xn 為來自總體的一組樣本數(shù)據(jù),，它們稱為原始樣本數(shù)據(jù),。
3. 令 u 代表從該樣本中計算出的統(tǒng)計量。
4. 以原始樣本數(shù)據(jù)中的數(shù)據(jù)作為“總體”,，進行可置換的重采樣,，得到一個重采樣樣本（又稱為 Bootstrap 樣本），記為 x1*, x2*, …, xn*（重采樣樣本中的數(shù)據(jù)個數(shù)必須和原始樣本數(shù)據(jù)中的數(shù)據(jù)個數(shù)相同）,。
5. 令 u* 代表利用上述 Bootstrap 樣本數(shù)據(jù)計算出來統(tǒng)計量,。

Bootstrap 原則指出：“Bootstrap 樣本統(tǒng)計量 u* 圍繞原始樣本統(tǒng)計量 u 的變化（簡稱為 u* 的變化）” 是 “原始樣本統(tǒng)計量 u 圍繞總體統(tǒng)計量 v 的變化（簡稱為 u 的變化）” 的一個很好的近似。

為了計算 u* 的變化,，我們只需要對原始樣本數(shù)據(jù)進行大量的可置換重采樣（為此需要使用計算機的計算能力,，在沒有計算機的年代，手動進行大量重采樣的工作量可想而知）,，得到許多 Bootstrap 樣本,，并從每個樣本中計算出統(tǒng)計量 u* 的一個取值,，這些取值便構(gòu)成 u* 的分布。使用 u* 的分布計算出 u* 如何圍繞 u 變化,，以此來推斷統(tǒng)計量 u 如何圍繞 v 變化,。顯然，統(tǒng)計量 u 的變化與樣本大小有關(guān),。因此用 u* 的變化作為 u 的變化的近似的前提是每個 Bootstrap 樣本的大小和原始樣本大小相同,。

根據(jù) Bootstrap 原則，使用經(jīng)驗 Bootstrap 方法（empirical Bootstrap method）就可以計算任何總體統(tǒng)計量的置信區(qū)間,。

3 經(jīng)驗 Bootstrap 方法

我們以計算某未知分布均值的置信區(qū)間為例說明經(jīng)驗 Bootstrap 方法,。假設(shè)我們從某未知分布的總體中得到下面 10 個樣本數(shù)據(jù)：30，37,，36,，43，42,，48,，43，46,，41,，42。

我們的問題有兩個：（1）估計總體的均值（點估計）,，（2）計算置信水平為 80% 的 Bootstrap 置信區(qū)間,。

第一個問題很容易回答，樣本均值 40.8 就是總體均值 μ 的點估計,。對于第二個問題,，由于樣本點太少（僅有 10 個）且總體分布未知（無法做正態(tài)分布假設(shè)），因此我們摒棄傳統(tǒng)的方法,，而采用經(jīng)驗 Bootstrap 方法計算其置信區(qū)間,。

計算 μ 的置信區(qū)間的本質(zhì)是回答這樣一個問題：樣本均值 \bar x 的分布是如何圍繞總體均值 μ 變化的。換句話說,，我們想知道 δ = \bar x – μ 的分布,。δ 就是當我們使用 \bar x 來估計 μ 時的誤差。

如果我們知道 δ 的分布,，則可以找到待求置信區(qū)間左右兩端的臨界值,。在本例中，因為我們關(guān)心的是置信水平為 80% 的置信區(qū)間,，因此 δ 的臨界值是 10% 和 90% 分位對應(yīng)的 δ_{0.9} 和 δ_{0.1},。由此計算出 μ 置信區(qū)間為：

這是因為：

值得一提的是，上面的概率是條件概率，它表示假設(shè)總體均值為 μ 的條件下,，樣本均值 \bar x 圍繞總體均值 μ 的變化在 δ_{0.1} 和 δ_{0.9} 之間的概率,。

不幸的是，由于來自總體的樣本只有一個（上面的 10 個數(shù)）且 μ 的真實值未知,，我們并不知道 δ 的分布（因此也就不知道 δ_{0.9} 和 δ_{0.1}）,。但是我們?nèi)匀焕髟谑郑蔷褪?Bootstrap 原則,。它指出雖然我們不知道 \bar x 如何圍繞 μ 變化（即 δ 的分布）,，但是它可以由 \bar x* 如何圍繞 \bar x 變化（即 δ* 的分布）來近似，這里δ* 是利用 Bootstrap 樣本計算的均值與原始樣本均值之間的差：

通過進行多次有置換的重采樣,，得到多個 Bootstrap 樣本,，每一個樣本中都可以計算出一個均值。使用每一個 Bootstrap 樣本均值減去原始樣本均值（40.8）就得到 δ* 的一個取值,。利用計算機,，很容易產(chǎn)生足夠多的 Bootstrap 樣本，即足夠多的 δ* 的取值,。根據(jù)大數(shù)定理（law of large numbers）,，隨著樣本個數(shù)的增加， δ* 的分布也越來越精確,。

有了 δ* 的分布,，就可以找到 δ*_{0.9} 和 δ*_{0.1}，并用它們作為 δ_{0.9} 和 δ_{0.1} 的估計,，從而計算出 μ 的置信區(qū)間：

上述思路就是經(jīng)驗 Bootstrap 方法的強大所在,。

回到上面這個例子中。利用計算機產(chǎn)生 200 個 Bootstrap 樣本（下圖顯示了前 10 個 Bootstrap 樣本,，每列一個）,。

由這 200 個 Bootstrap 樣本計算出 200 個 δ*，它們的取值范圍在 -4.4 到 4.0 之間,，δ* 的累積密度函數(shù)如下圖所示。

接下來,，從這 200 個 δ* 中找出 δ*_{0.9} 和 δ*_{0.1},。由于δ*_{0.9} 對應(yīng)的是 10% 分位數(shù)，而 δ*_{0.1} 對應(yīng)的是 90% 分位數(shù),，我們將 200 個 δ* 從小到大排序,，其中第 20 個和第 181 個就是我們需要的數(shù)值：δ*_{0.9} = -1.9 以及 δ*_{0.1} = 2.2。由于原始樣本均值為 40.8,，因此求出 μ 的 80% 的置信區(qū)間為：

4 Bootstrap 百分位法

讓我們來看看另外一種方法：Bootstrap 百分位法（Bootstrap percentile method）,。它與經(jīng)驗 Bootstrap 方法的不同之處在于，它不是用 δ* 的分布去近似 δ 的分布,，而是直接使用來自 Bootstrap 樣本的統(tǒng)計量的分布作為原始樣本統(tǒng)計量的分布,。

讓我們?nèi)匀挥蒙弦还?jié)中的例子來說明這種方法,。

在那個例子中，我們對原始樣本數(shù)據(jù)進行有置換的重采樣,，得到了 200 個 Bootstrap 樣本,。對于每個樣本，計算出樣本均值,，因此一共有 200 個均值,，它們構(gòu)成了 Bootstrap 樣本統(tǒng)計量 \bar x* 的分布（下圖）。

Bootstrap 百分位法使用來自 Bootstrap 樣本統(tǒng)計量 \bar x* 的分布作為原始樣本統(tǒng)計量 \bar x 的分布的一個近似,。因此,，在這種方法下，我們只需要找到 \bar x* 分布中 10% 分位和 90% 分位對應(yīng)的 \bar x* 的取值,，它們就構(gòu)成了 μ 的置信區(qū)間,。在本例中，這兩個分位對應(yīng)的 \bar x* 的取值分別為 38.9 和 43,，因此按這種方法得到的 μ 的置信區(qū)間為：[38.9, 43],。

不難發(fā)現(xiàn)，上述兩種方法得到的置信區(qū)間并不相同,。它們是各有千秋還是說其中一個更準確呢,？

經(jīng)驗 Bootstrap 法和 Bootstrap 百分位法的區(qū)別如下：

• 經(jīng)驗 Bootstrap 法用 δ* 的分布去近似 δ 的分布；之后再把誤差加到原始樣本均值的兩側(cè),，該置信區(qū)間是以樣本均值 \bar x 為中心的,。
• Bootstrap 百分位法直接用 \bar x* 的分布來近似 \bar x 的分布（由于我們只有一個來自于總體的樣本，因此我們沒有 \bar x 的分布,，而這種方法說我們可以是使用 \bar x* 的分布代替）,；它直接用從 \bar x* 的分布找到的置信區(qū)間作為總體均值的置信區(qū)間。這里一個很強的假設(shè)是 \bar x* 的分布是 \bar x 分布的一個很好的近似,。然而在現(xiàn)實中這是無法保證的,，因此這種方法不好，它的準確性存疑,。

Bootstrap 原則傳達的是這樣一個意思：樣本統(tǒng)計量 \bar x 是以總體統(tǒng)計量 μ 為中心圍繞其波動,；Bootstrap 樣本統(tǒng)計量 \bar x* 是以原始樣本統(tǒng)計量 \bar x 為中心圍繞其波動。如果 \bar x 和 μ 有較大的差異,，則 \bar x 和 \bar x* 的分布也會不同（即 Bootstrap 百分位法的假設(shè)不成立）,。反觀 δ 和 δ*，它們的分布各自描述 \bar x 如何圍繞 μ 波動以及 \bar x* 如何圍繞 \bar x 波動,。Bootstrap 原則指出即使 \bar x 和 \bar x* 分布不同,，δ* 的分布仍然是 δ 的分布的一個很好的近似，因此以原始樣本均值 \bar x 為中心，以 δ* 的分布計算出誤差,，最終得到的 μ 的置信區(qū)間是比較準確的,。由此可知，經(jīng)驗 Bootstrap 方法優(yōu)于 Bootstrap 百分位法,。在實踐中,，應(yīng)該使用前者。

下圖概括了上文中對二者的比較,。

5 Bootstrapped-t 方法

除了上面介紹的兩種方法外,，最后我還想再提另一種方法：Bootstrapped-t 方法。

這種方法和第一節(jié)中介紹的傳統(tǒng)方法十分接近,。在傳統(tǒng)方法中,，基于 Normal Theory 的假設(shè)，我們只需要知道 t 統(tǒng)計量的臨界值就可以計算均值的置信區(qū)間,。傳統(tǒng)方法假設(shè)待估計的統(tǒng)計量的分布是對稱的,。

然而在現(xiàn)實問題中，這個假設(shè)可能無法滿足,，所以假設(shè)對稱并通過查表找出 t 統(tǒng)計量的臨界值會有問題（因為得到的置信區(qū)間是對稱的）,。由此提出了 Bootstrapped-t 方法。

這種方法的核心思想是將每個 Bootstrap 樣本中計算的統(tǒng)計量轉(zhuǎn)化成一個對應(yīng)的 t statistic,。這樣,，有多少個 Bootstrap 樣本我們就有多少個 Bootstrapped t statistic。由此,，可以計算出 Bootstrapped t statistic 的分布,。用這個分布代替查表來找到計算置信區(qū)間時所需的 t statistic 的臨界值，從而計算置信區(qū)間：

其中 s_{\bar x} 是 \bar x 的 standard error,。

以均值為例,，可以通過下面的關(guān)系式將每個 Bootstrap 樣本的均值轉(zhuǎn)化為對應(yīng)的 Bootstrapped t statistic（注：如果研究的對象不是均值，則 Bootstrapped t statistic 會出現(xiàn)不存在解析式的情況）：

其中,，\bar x*_i 和 s*_i 分別為第 i 個 Bootstrap 樣本的均值和標準差,；n 為樣本大小。

仍以前面的例子說明這種方法如何計算 μ 的置信區(qū)間,。對于每個 Bootstrap 樣本,，計算其 Bootstrapped t 統(tǒng)計量，它們的累積密度函數(shù)為：

通過 Bootstrapped t statistic 很容易找到臨界值 -1.17 和 1.81,。因此，μ 的置信區(qū)間為：[31.82, 46.62],。在這個例子中,，上述方法算出的個置信區(qū)間的范圍大于前面兩種方法。介紹這種方法的目的是為了開拓思路。在實踐中仍然推薦使用經(jīng)驗 Bootstrap 方法,。

6 遠遠不止均值

到目前未知,，本文的例子中均已均值作為目標統(tǒng)計量，這便于將不同的 Bootstrap 方法得到的置信區(qū)間進行比較,。然而,，Bootstrap 方法在計算置信區(qū)間時可以考慮各種傳統(tǒng)方法無能為力的統(tǒng)計量。

下面就來看看中位數(shù)的例子,。仍然以第三節(jié)中的十個數(shù)（30,，37，36,，43,，42，48,，43,，46，41,，42）作為來自某個未知總體的一組樣本,。采用經(jīng)驗 Bootstrap 方法，我們來計算中位數(shù)的 95% 的置信區(qū)間,。

使用之前用到的 200 個 Bootstrap 樣本,，可以得到中位數(shù)誤差的臨界值。由于考慮的是 95% 的置信區(qū)間,，因此臨界值為 2.5% 和 97.5% 分位對應(yīng)的誤差：-5.0 和 2.5,。從原始數(shù)據(jù)易知，樣本的中位數(shù)是 42,。因此,，中位數(shù)的 95% 的置信區(qū)間為：[39.5, 47]。

7 Bootstrap 與量化投資

本文介紹了如何使用 Bootstrap 技術(shù)計算參數(shù)估計的誤差,。Bootstrap 方法對總體分布不做假設(shè),，且可以被應(yīng)用于我們感興趣的各種統(tǒng)計量，這些特點使得它非常強大,。當然,，需要說明的是Bootstrap 中的重采樣并不能夠幫助我們改進點估計（point estimate）。以均值為例,，原始樣本均值 \bar x 就是總體均值 μ 的點估計,。我們使用重采樣得到很多 Bootstrap 樣本，并且得到很多 Bootstrap 樣本均值 \bar x*,，則這些 \bar x* 的平均值將會非常接近 \bar x （事實上,，可以證明 E[\bar x*] —— \bar x* 的期望 —— 就是 \bar x）,。換句話說，對于點估計,，Bootstrap 樣本均值并不能比 \bar x 提供任何新的信息,。但是，這些 \bar x* 的取值對于估計 \bar x 如何圍繞 μ 變化非常有效,，這便是我們在全文中反復(fù)強調(diào)的 Bootstrap 的核心,。

在量化投資領(lǐng)域，Bootstrap 也有廣泛的應(yīng)用,。例如,，Bootstrap 可以用來對參數(shù)估計的偏差進行修正，比如投資品收益率之間的相關(guān)系數(shù),。投資品的歷史收益率數(shù)據(jù)就是我們僅有的樣本,，通過重采樣并利用經(jīng)驗 Bootstrap 方法，可以求出各種統(tǒng)計量的估計誤差,，這無疑有助于我們更好的構(gòu)建投資策略,，進行風(fēng)險防控。又比如,，簡單的分類算法（比如分類樹）可以用來進行選股,，但是它對樣本數(shù)據(jù)比較敏感，預(yù)測的方差較大,。在這方面可以采用 Bootstrap 技巧作為元算法技術(shù)用于一般分類算法（比如結(jié)合 Bootstrap 和分類樹得到的裝袋算法）,，這可以明顯地降低分類算法的方差，從而提高預(yù)測的準確性,。

最后,，本文介紹的幾種方法都屬于無參數(shù) Bootstrap 方法，即對總體分布不做任何假設(shè),。在一些應(yīng)用中,，如果能夠明確總體分布的類型，也可以使用 Bootstrap 方法進行參數(shù)估計,，這稱之為參數(shù)化 Bootstrap 方法,。比如，我們已知總體分布滿足指數(shù)分布,，但是不知道其參數(shù) λ,。這時，可以利用參數(shù)化 Bootstrap 方法計算出 Bootstrap 樣本中 λ* 的誤差的分布,，用它來估計 λ 的置信區(qū)間,。由于空間有限，本文不再展開介紹,。

（全文完）