Bootstrap重采樣進(jìn)行參數(shù)估計(jì) - 置信區(qū)間

參考

• Bootstrap采樣

• 用 Bootstrap 進(jìn)行參數(shù)估計(jì)大有可為

• 利用Bootstrap法估計(jì)置信區(qū)間

• python之Boostrap自助法介紹

• 統(tǒng)計(jì)學(xué)中的Bootstrap方法（Bootstrap抽樣）

? 主要是在看SCRFD論文時(shí)，看到作者在尋找網(wǎng)絡(luò)結(jié)構(gòu)各模塊的計(jì)算開銷比例時(shí),，分別使用Empirical Bootstrap求解computation ratio的置信區(qū)間,，用于下一步的網(wǎng)絡(luò)配置自動生成（很好奇作者在對320個(gè)模型進(jìn)行采樣時(shí)，為什么要使用重采樣,，整體采樣研究數(shù)據(jù)分布,，求解置信空間不行嗎？不行,，因?yàn)閿?shù)據(jù)不一定滿足正態(tài)分布的假設(shè),，利用查表方式求解置信區(qū)間不奏效，因此需要考慮使用中心極限定理）,。因此這里抽空記錄一下Bootstrap重采樣是如何進(jìn)行參數(shù)估計(jì)的,。

一、Bootstrap簡介

統(tǒng)計(jì)學(xué)中的Bootstrap方法（Bootstrap抽樣）

? Bootstrap又稱自展法,、自舉法,、自助法、靴帶法 , 是統(tǒng)計(jì)學(xué)習(xí)中一種重采樣(Resampling)技術(shù),，用來估計(jì)標(biāo)準(zhǔn)誤差,、置信區(qū)間和偏差。

? Bootstrap是現(xiàn)代統(tǒng)計(jì)學(xué)較為流行的一種統(tǒng)計(jì)方法,，在小樣本時(shí)效果很好,。機(jī)器學(xué)習(xí)中的Bagging，AdaBoost等方法其實(shí)都蘊(yùn)含了Boostrap的思想,，在集成學(xué)習(xí)的范疇里 Bootstrap直接派生出了Bagging模型,。

舉個(gè)栗子 ：我要統(tǒng)計(jì)魚塘里面的魚的條數(shù),，怎么統(tǒng)計(jì)呢？假設(shè)魚塘總共有魚1000條,，我是開了上帝視角的,，但是你是不知道里面有多少。

步驟：

1. 承包魚塘,，不讓別人撈魚(規(guī)定總體分布不變),。
2. 自己撈魚，撈100條,，都打上標(biāo)簽(構(gòu)造樣本)
3. 把魚放回魚塘,，休息一晚(使之混入整個(gè)魚群，確保之后抽樣隨機(jī))
4. 開始撈魚,，每次撈100條,，數(shù)一下，自己昨天標(biāo)記的魚有多少條,，占比多少(一次重采樣取分布),。
5. 重復(fù)3，4步驟n次,。建立分布,。

? 假設(shè)一下，第一次重新捕魚100條,，發(fā)現(xiàn)里面有標(biāo)記的魚12條,，記下為12%，放回去,，再捕魚100條,，發(fā)現(xiàn)標(biāo)記的為9條，記下9%,，重復(fù)重復(fù)好多次之后,，假設(shè)取置信區(qū)間95%，你會發(fā)現(xiàn),，每次捕魚平均在10條左右有標(biāo)記,，所以，我們可以大致推測出魚塘有1000條左右,。

原理是中心極限定理：

• 中心極限定理（CLT）：樣本的平均值約等于總體的平均值,。不管總體是什么分布，任意一個(gè)總體的樣本平均值都會圍繞在總體的整體平均值周圍,，并且呈正態(tài)分布,。參考https://www.zhihu.com/question/22913867/answer/250046834
• 大數(shù)定律（LLN）：如果統(tǒng)計(jì)數(shù)據(jù)足夠大，那么事物出現(xiàn)的頻率就能無限接近他的期望（均值）。參考https://www.zhihu.com/question/19911209/answer/245487255

理解一下定理和定律的區(qū)別：http://www.gaosan.com/gaokao/254891.html

這兩者容易混,，其實(shí)兩者都是在討論一個(gè)問題：當(dāng)樣本個(gè)數(shù)n趨向于無窮時(shí),，均值表現(xiàn)出什么樣的行為。但在側(cè)重點(diǎn)上存在不同：CLT告訴我們的是樣本均值相對于總體均值的呈正態(tài)分布情況（mean,，var）,，而LLN告訴我們的是，當(dāng)樣本個(gè)數(shù)足夠大時(shí)樣本的均值可以近似整體的均值,。

定理,，用推理的方法判斷為真的命題叫做定理。定律,，是由實(shí)踐和事實(shí)所證明,，反映事物在一定條件下發(fā)展變化的客觀規(guī)律的論斷。定律是由實(shí)驗(yàn)總結(jié)得來的規(guī)律,，定理是由定律出發(fā),，通過數(shù)學(xué)證明得來的命題。

大數(shù)定律（1713）是在中心極限定理（1901）出現(xiàn)之前,，中心極限定理是對大數(shù)定律的歸納,，因此中心極限定理說：樣本的平均值約等于總體的平均值也不過分。

二,、為什么要使用Bootstrap

用 Bootstrap 進(jìn)行參數(shù)估計(jì)大有可為

在量化投資領(lǐng)域,，有大量需要進(jìn)行參數(shù)估計(jì)（parameter estimation）的場景,。 比如在按照馬科維茨的均值方差框架配置資產(chǎn)時(shí),，就必須計(jì)算投資品的收益率均值和協(xié)方差矩陣。很多時(shí)候,，對于需要的統(tǒng)計(jì)量,，僅有點(diǎn)估計(jì)（point estimate）是不夠的，我們更感興趣的是從樣本數(shù)據(jù)得到的點(diǎn)估計(jì)和該統(tǒng)計(jì)量在未知總體中的真實(shí)值之間的誤差,。在這方面,，區(qū)間估計(jì) —— 即計(jì)算出目標(biāo)統(tǒng)計(jì)量的置信區(qū)間（confidence interval）—— 可以提供我們需要的信息。

談到置信區(qū)間,，人們最熟悉的當(dāng)屬計(jì)算總體均值（population mean）的置信區(qū)間,。這是因?yàn)樵?/strong>中心極限定理（Central Limit Theorem） 和正態(tài)分布假設(shè)（Normal distribution） 下，總體均值的置信區(qū)間存在一個(gè)優(yōu)雅的解析表達(dá),。利用樣本均值和其 standard error 求出的 test statistic 滿足 t 分布（Student’s t-distribution）,，通過查表找到置信區(qū)間兩邊各自對應(yīng)的 t 統(tǒng)計(jì)量的臨界值（critical value）便可以方便的求出置信區(qū)間。由于 t 分布是對稱的,，因此總體均值的置信區(qū)間是關(guān)于樣本均值對稱的,。

如果我們知道 δ \delta δ 的分布，則可以找到待求置信區(qū)間左右兩端的臨界值,。在本例中,，因?yàn)槲覀?strong>關(guān)心的是置信水平為 80% 的置信區(qū)間，因此 δ \delta δ 的臨界值是 10% 和 90% 分位對應(yīng)的 δ 0.9 \delta_{0.9} δ0.9? 和 δ 0.1 \delta_{0.1} δ0.1? ,。由此計(jì)算出 μ \mu μ 置信區(qū)間為

[ x ￣ ? δ 0.1 , x ￣ ? δ 0.9 ] [\overline{x} - \delta_{0.1},\overline{x} - \delta_{0.9}] [x?δ0.1?,x?δ0.9?]

這是因?yàn)椋?/p>

值得一提的是,，上面的概率是條件概率，它表示假設(shè)總體均值為 μ \mu μ 的條件下，樣本均值 x ￣ \overline{x} x 圍繞總體均值 μ \mu μ 的變化在 δ 0.1 \delta_{0.1} δ0.1? 和 δ 0.9 \delta_{0.9} δ0.9? 之間的概率,。

不幸的是,，由于來自總體的樣本只有一個(gè)（上面的 10 個(gè)數(shù)）且 μ \mu μ 的真實(shí)值未知，我們并不知道 δ \delta δ 的分布（因此也就不知道 δ 0.9 \delta_{0.9} δ0.9?和 δ 0.1 \delta_{0.1} δ0.1?）,。但是我們?nèi)匀焕髟谑?，那就?Bootstrap 原則。它指出雖然我們不知道 x ￣ \overline{x} x 如何圍繞 μ \mu μ 變化（即 δ \delta δ的分布),，但是它可以由 x ￣ ? \overline{x}^\star x? 如何圍繞 x ￣ \overline{x} x 變化（即 δ ? \delta^{\star} δ? 的分布）來近似,，這里 δ ? \delta^{\star} δ? 是利用 Bootstrap 樣本計(jì)算的均值與原始樣本均值之間的差：

通過進(jìn)行多次有置換的重采樣，得到多個(gè) Bootstrap 樣本,，每一個(gè)樣本中都可以計(jì)算出一個(gè)均值,。使用每一個(gè) Bootstrap 樣本均值減去原始樣本均值（40.8）就得到 δ ? \delta^{\star} δ? 的一個(gè)取值。利用計(jì)算機(jī),，很容易產(chǎn)生足夠多的 Bootstrap 樣本,，即足夠多的 δ ? \delta^{\star} δ? 的取值。根據(jù)大數(shù)定理（law of large numbers）,， 當(dāng)樣本個(gè)數(shù)足夠多時(shí),， δ ? \delta^{\star} δ? 的分布是 δ \delta δ 的分布好的近似。

有了 δ ? \delta^{\star} δ? 的分布,，就可以找到 δ 0.9 ? \delta^\star_{0.9} δ0.9??和 δ 0.1 ? \delta^\star_{0.1} δ0.1??,，并用它們作為 δ 0.9 \delta_{0.9} δ0.9?和 δ 0.1 \delta_{0.1} δ0.1? 的估計(jì)，從而計(jì)算出 μ \mu μ 的置信區(qū)間：

上述思路就是經(jīng)驗(yàn) Bootstrap 方法的強(qiáng)大所在,。

回到上面這個(gè)例子中,。利用計(jì)算機(jī)產(chǎn)生 200 個(gè) Bootstrap 樣本（下圖顯示了前 10 個(gè) Bootstrap 樣本，每列一個(gè)）,。

由這 200 個(gè) Bootstrap 樣本計(jì)算出 200 個(gè) δ ? \delta^{\star} δ? ,，它們的取值范圍在 -4.4 到 4.0 之間， δ ? \delta^{\star} δ? 的累積密度函數(shù)如下圖所示,。

接下來,，從這 200 個(gè) δ ? \delta^{\star} δ? 中找出 δ 0.9 ? \delta^{\star}_{0.9} δ0.9?? 和 δ 0.1 ? \delta^{\star}_{0.1} δ0.1?? 。由于 δ 0.9 ? \delta^{\star}_{0.9} δ0.9?? 對應(yīng)的是 10% 分位數(shù),，而 δ 0.1 ? \delta^{\star}_{0.1} δ0.1??對應(yīng)的是 90% 分位數(shù)（方差小越集中）,，我們將 200 個(gè) δ ? \delta^{\star} δ? 從小到大排序，其中第 20 個(gè)和第 181 個(gè)就是我們需要的數(shù)值： δ 0.9 ? = ? 1.9 \delta^{\star}_{0.9} = -1.9 δ0.9??=?1.9 以及 δ 0.1 ? = 2.2 \delta^{\star}_{0.1} = 2.2 δ0.1??=2.2,。由于原始樣本均值為 40.8,，因此求出 μ \mu μ 的 80% 的置信區(qū)間為：

四、Bootstrap百分位法

詳細(xì)介紹參考 用 Bootstrap 進(jìn)行參數(shù)估計(jì)大有可為

參考利用Bootstrap法估計(jì)置信區(qū)間

1）百分位數(shù)法簡單易懂,，無須復(fù)雜計(jì)算,，只要有了Bootstrap 樣本及每個(gè)樣本的統(tǒng)計(jì)量,，找到相應(yīng)的百分位數(shù)即可。
2）它必須滿足一個(gè)潛在的假定,，即Bootstrap 抽樣分布是樣本統(tǒng)計(jì)量分布的一個(gè)無偏估計(jì),，當(dāng)有偏的時(shí)候，估計(jì)結(jié)果可能也會有偏,，因此會用百分位數(shù)t法,。
3）t法對于95%置信區(qū)間，確定0.025和0.975的百分位數(shù),，則95%置信區(qū)間為：

經(jīng)驗(yàn) Bootstrap 法和 Bootstrap 百分位法的區(qū)別如下：

• 經(jīng)驗(yàn) Bootstrap 法用 δ ? \delta^{\star} δ? 的分布去近似 δ \delta δ 的分布,；之后再把誤差加到原始樣本均值的兩側(cè)，該置信區(qū)間是以樣本均值 x ￣ \overline{x} x 為中心的,。
• Bootstrap 百分位法直接用 x ￣ ? \overline{x}^\star x? 的分布來近似 x ￣ \overline{x} x 的分布（由于我們只有一個(gè)來自于總體的樣本,，因此我們沒有 x ￣ \overline{x} x 的分布，而這種方法說我們可以是使用 x ￣ ? \overline{x}^\star x? 的分布代替）,；它直接用從 x ￣ ? \overline{x}^\star x? 的分布找到的置信區(qū)間作為總體均值的置信區(qū)間,。這里一個(gè)很強(qiáng)的假設(shè)是 x ￣ ? \overline{x}^\star x? 的分布是 x ￣ \overline{x} x 分布的一個(gè)很好的近似。然而在現(xiàn)實(shí)中這是無法保證的,，因此這種方法不好,，它的準(zhǔn)確性存疑。

五,、python代碼

參考python之Boostrap自助法介紹

我們舉個(gè)例子：假設(shè)我們的藍(lán)色點(diǎn)代表男生,；黃色點(diǎn)代表女生，我們想知道他們的比例是否大體相當(dāng),。那么我們采用bootstrap的步驟則是：

1. 每次采樣10個(gè)人,，看男女比例。
2. 重復(fù)上述過程10000次,，把每次的男女比例求平均,，代表最終的男女比例。

這里設(shè)置男女比例為1 : 0.8

import numpy as np
from sklearn.utils import resample
import matplotlib.pyplot as plt

# 參考 https://blog.csdn.net/mingyuli/article/details/81223463

'''繪制男女年齡散點(diǎn)圖'''
def boy_girl_plot(boys,girls):
    '''
    :param boys: [ndarray[x,y]]
    :param girls:  [ndarray[x,y]]
    :return:
    '''
    boy_x,boy_y = [],[]
    for boy in boys:
        boy_x.append(boy[0])
        boy_y.append(boy[1])

    girl_x, girl_y = [], []
    for girl in girls:
        girl_x.append(girl[0])
        girl_y.append(girl[1])

    p1 = plt.scatter(boy_x,boy_y,marker='^',alpha=0.8)
    p2 = plt.scatter(girl_x,girl_y,marker='o',alpha=0.8)
    plt.xticks([])
    plt.ylabel("Age",fontsize=16)
    plt.legend([p1, p2], ['boy', 'girl'], loc='lower right', scatterpoints=1,fontsize=14)
    plt.show()

'''Bootstrap點(diǎn)估計(jì)'''
def bootstrap(samples):
    '''
    :param samples: samples type = list[]
    :return:
    '''
    count = 0.0
    total = len(samples)
    for sample in samples:
        if (sample[2] == 0):  #0為女生
            count += 1.0
    print(count)
    return count / (total - count)


if __name__ == '__main__':

    # 指定seed
    m_seed = 20
    # 設(shè)置seed
    np.random.seed(m_seed)
    boys =  np.random.randint(100, size=(1000, 2))   #生成 0 ~ 100 的隨機(jī)數(shù),，用于表示年齡,，共1000個(gè)人
    girls = np.random.randint(100, size=(800, 2))     #生成 0 ~ 100的隨機(jī)數(shù)，用于表示年齡,，共800人

    #給出生的孩子打上男女生標(biāo)簽,男為1,，女為0
    boys_annotate = []
    girls_annotate = []
    for boy in boys:
        temp = boy.tolist()
        temp.append(1)
        boys_annotate.append(temp)
    for girl in girls:
        temp = girl.tolist()
        temp.append(0)
        girls_annotate.append(temp)

    #男女生年齡分布情況繪制
    boy_girl_plot(boys_annotate,girls_annotate)

    all = []
    all.extend(boys_annotate)#合并boys,，girls
    all.extend(girls_annotate)#合并boys,，girls

    '''男女比例點(diǎn)估計(jì)（均值）'''
    scale = 0.0
    iter = 10000
    mean_iter = []
    for i in range(iter):  #重復(fù)實(shí)驗(yàn)10000次
        bootstrapSamples = resample(all, n_samples=100, replace=True)   #每次有放回地抽取100個(gè)人
        # print(bootstrapSamples)
        tempscale = bootstrap(bootstrapSamples)
        # print(tempscale)
        mean_iter.append(tempscale)
        scale += tempscale  #女生/男生

    #估計(jì)均值（Bootstrap點(diǎn)估計(jì)）
    mean = scale / iter
    print(f"female count / male count = {mean}")  # 對統(tǒng)計(jì)量求個(gè)平均值
    
---
female count / male count = 0.813314354093438

1）經(jīng)驗(yàn)Bootstrap

'''
Bootstrap置信空間估計(jì)：經(jīng)驗(yàn)Bootstrap法（Bootstrap回歸）

通過進(jìn)行多次有置換的重采樣，得到多個(gè) Bootstrap 樣本,，每一個(gè)樣本中都可以計(jì)算出一個(gè)均值,。
使用每一個(gè) Bootstrap 樣本均值減去原始樣本均值（40.8,第一次Bootstrap計(jì)算的均值）就得到 \sigma* 的一個(gè)取值（\sigma* = x* - x_mean）,。
利用計(jì)算機(jī)，很容易產(chǎn)生足夠多的 Bootstrap 樣本,，即足夠多的 \sigma* 的取值,。
根據(jù)大數(shù)定理（law of large numbers），當(dāng)樣本個(gè)數(shù)足夠多時(shí),， \sigma* 的分布是 \sigma 的分布好的近似,。
'''
def empirical_bootstrap(mean,samples):
    '''
    :param mean: 第一次bootstrap的點(diǎn)估計(jì)（mean）
    :param samples: 第二次bootstrap
    :return: Bootstrap 樣本計(jì)算的均值與原始樣本均值之間的差
    '''
    ratio = bootstrap(samples)
    sigma = ratio - mean
    return sigma

if __name__ == '__main__':
    ...
    '''80%置信空間估計(jì)'''
    sigma_iter = []
    for i in range(iter):  #重復(fù)實(shí)驗(yàn)10000次
        bootstrapSamples = resample(all, n_samples=100, replace=True)   #每次有放回地抽取100個(gè)人
        # print(bootstrapSamples)
        sigma = empirical_bootstrap(mean, bootstrapSamples)
        # print(tempscale)
        sigma_iter.append(sigma)

    #80%置信空間估計(jì)，則計(jì)算sigma_iter的(100 - 80) / 2 和 80 + (100 - 80) / 2分位數(shù)
    confidence_range = 0.8
    lower,upper = (100 - (0.8 * 100)) / 2, (0.8 * 100 + (100 - (0.8 * 100)) / 2)
    sigma_lower = np.percentile(sigma_iter,upper)   #sigma_0.1對應(yīng)90%分位數(shù)（方差小越集中）
    sigma_upper = np.percentile(sigma_iter,lower)   #sigma_0.9對應(yīng)10%分位數(shù)
    print(f"{confidence_range * 100}%的置信區(qū)間 = {mean - sigma_lower} ~ {mean - sigma_upper}")
    
---
80.0%的置信區(qū)間 = 0.5858123816562637 ~ 1.0137254823804245

2）Bootstrap百分位法

if __name__ == '__main__':
    ...
    lower = np.percentile(mean_iter,10)
    upper = np.percentile(mean_iter,90)
    print(f"80%的置信區(qū)間 = {lower} ~ {upper}")

---
80%的置信區(qū)間 = 0.6129032258064516 ~ 1.0408163265306123

發(fā)現(xiàn)經(jīng)驗(yàn)Bootstrap和Bootstrap百分位法計(jì)算的置信區(qū)間還是有一定區(qū)別的,，但是個(gè)人建議使用經(jīng)驗(yàn)Bootstrap,。