大数法則と中心極限定理

はじめに

本記事は Part 2「確率と期待値」の最終回です。stats-05 で確率の基礎、stats-06 で期待値、stats-07 でベイズ更新を扱い、本記事では「標本平均」という確率変数の振る舞いに集中します。

Part 3 では標準誤差（stats-09）、信頼区間（stats-10）、仮説検定（stats-11）へ進みます。

コインを 100 回投げると表の割合はどう動くか

コインを 1 枚ずつ投げ続け、「これまでの表の回数 ÷ 投げた回数」を累積平均として記録していきます。下の表は 1 系列の実例です（seed=42 で固定した決定的な系列）。

$n=1$ の時点では表が 1 回も出ず累積平均 0.0000 です。$n=10$ では 0.6000 と 0.5 から 0.1 ずれています。$n=100$ になると累積表数がちょうど 50 回で 0.5000 になりました。ただしこれは偶然の一致にすぎず、収束の保証ではありません。$n=1000$ では 0.4800、$n=10000$ では 0.4990、0.5 との差は 0.001 まで縮みました。

$n$ を 10 倍にして 1000 から 10000 にしたとき、0.5 からのズレは 0.02 から 0.001 に縮みました。この系列では 20 倍の改善になっていますが、これは 1 系列の偶然です。多数の系列で平均すると改善倍率は $\sqrt{10} \approx 3.2$ 倍程度に収束します。その理由は節 6 で導きます。

大数の法則: 標本平均は期待値に確率収束する

コイン投げで表の割合が 0.5 に収束していくのは、「N 個のコイン表裏の平均が期待値（0.5）に近づいていく」現象です。大数の弱法則 (Weak Law of Large Numbers, WLLN) はこれを一般的に保証します。

$X_1, X_2, \ldots, X_n$ が i.i.d.（独立同分布）で期待値 $\mu$、分散 $\sigma^2$（ともに有限）のとき、標本平均

は $n \to \infty$ で母平均 $\mu$ に「確率収束」します。記号で書くと

です。$\xrightarrow{p}$ は確率収束（convergence in probability）の記号で、「N を大きくすると、$\bar{X}_n$ が $\mu$ から $\varepsilon$ 以上ずれる確率が 0 に近づく」ことを意味します。正式な表記は次のようになります。

$\varepsilon$ は「許容するズレ幅」です。どんなに小さい $\varepsilon$ を設定しても、$n$ を十分大きくすればそのズレを超える確率は 0 に近づく、という強い主張です。この式の証明は分散加法性と Chebyshev の不等式を使えばほぼ 1 行で導かれます。

▶計算Chebyshev の不等式を使った WLLN の証明概略

$V[\bar{X}_n] = \sigma^2/n$ を使い（節 6 で改めて導きます）、Chebyshev の不等式

$$P(|\bar{X}_n - \mu| \ge \varepsilon) \le \frac{V[\bar{X}_n]}{\varepsilon^2} = \frac{\sigma^2}{n\varepsilon^2}$$

を適用すると、右辺は $n \to \infty$ で 0 に収束します。$\varepsilon$ をどう小さく固定しても同じです。

下の図は横軸を $n$（対数スケール）、縦軸を累積平均 $\bar{X}_n$ にとったコイン系列です。

青い折れ線が累積平均 $\bar{X}_n$、赤い破線が母平均 $\mu = 0.5$ です。$n$ が小さい左端では青線が大きく揺れていますが、右に行くほど赤い破線に張り付いていく様子が見えます。揺らぎの帯が $\sqrt{n}$ オーダーで縮んでいます。

1 件あたりの損害額は平均 $\mu$、標準偏差 $\sigma = 300{,}000$ 円（30 万円）のランダムな量です。契約件数 $N = 100{,}000$ 件のとき、集団全体の 1 件あたり平均損害額のばらつきは

です。個別ではばらつき 300,000 円だったものが、10 万件集まると集団平均のばらつきは 948 円まで縮みます。保険会社が集団として成立するのはこの数字が根拠です。詳細な保険数理のシミュレーションは stats-practice-insurance-lln で扱います。

中心極限定理: 標本平均の分布は正規分布に分布収束する

LLN は「$\bar{X}_n$ が $\mu$ に収束する」ことを保証しました。CLT はまったく別の問いに答えます。「$\bar{X}_n$ がどんな形の分布を持つか」です。

$\bar{X}_n$ そのものは $n \to \infty$ で 1 点 $\mu$ に集約されます（LLN）。その集約が起きる前の「揺らぎの形」を見るには拡大が必要です。どんな拡大率が適切か。節 6 で詳しく導きますが、$\bar{X}_n$ の標準偏差は $\sigma/\sqrt{n}$ です。つまり $V[\bar{X}_n] = \sigma^2/n$ で、これを $0$ でなく $\sigma^2$ に保つには $\sqrt{n}$ 倍で十分です。$\sqrt{n}(\bar{X}_n - \mu)$ という量は分散が $\sigma^2$ で $n$ によらず一定です。

「正しい拡大率」が $\sqrt{n}$ である理由は、分散計算から逆算で決まります。

Lindeberg-Lévy の中心極限定理は次のように述べます。$X_1, X_2, \ldots, X_n$ が i.i.d.、期待値 $\mu$、分散 $\sigma^2 < \infty$ のとき、

両辺を $\sigma$ で割った標準化版は

です。$\xrightarrow{d}$ は分布収束（convergence in distribution）の記号で、「累積分布関数の値が各点で標準正規分布のそれに収束する」ことを意味します。分母 $\sigma/\sqrt{n}$ は標本平均の標準偏差で、節 6 で「標準誤差 (SE)」として正式に扱います。

CLT の最も意外な主張は 「元の分布によらず」 という部分です。$X_i$ が一様分布でも指数分布でも Bernoulli 分布でも、i.i.d. かつ分散が有限であれば、$\bar{X}_n$ の分布は正規分布に収束します。

下の図で確認します。元の分布を指数分布（rate=1）に固定し、$n=1, 5, 30, 100$ の 4 段階で「10,000 系列のシミュレーションによる標本平均のヒストグラム」を並べました。

横軸は標本平均の値、縦軸はその標本平均が観測される頻度（密度）です。$n=1$ の青い線は指数分布そのままで右裾が長く歪んでいます。$n=5$ になると右裾が縮み始め、$n=30$ では両裾がほぼ対称な釣り鐘型に近づきます。$n=100$ の赤い線は鋭い正規分布の形です。横軸の広がり（標準偏差）も $n=1$ の 1.0 から $n=100$ の 0.1 まで $1/\sqrt{n}$ で縮んでいます。

「元の分布によらない」普遍性の背景として、多数の独立な確率変数の和の特性関数を解析すると極限で正規分布の特性関数に収束するという事実があります。詳細は補足記事（stats-supplement-clt-proof-sketch）で扱います。

$n$ の経験的な目安として、東大出版会『統計学入門』は「$n \ge 30$」を挙げています。ただしこれは元の分布が対称に近い場合の目安です。指数分布（rate=1）のように右に強く歪んだ分布では $n=30$ でおおむね正規近似が成立しますが、より強い歪みの場合は $n=100$ が必要になることもあります。

LLN と CLT の違い: 中心への収束 vs 分布形の収束

LLN と CLT は同じ標本平均 $\bar{X}_n$ について全く別の軸を語ります。LLN は「値そのものが $\mu$ に収束する」（1 次元の収束）、CLT は「分布の形が正規分布に収束する」（分布全体の収束）です。両者は競合しているのではなく相補的で、どちらか一方だけでは信頼区間も検定も構築できません。

LLN は $\bar{X}_n$ が $\mu$ に近いことを保証しますが、「どれだけ近いか」の確率的評価はできません。CLT が $\bar{X}_n \approx N(\mu, \sigma^2/n)$ という分布の形を与えることで初めて、$k$ 標準誤差以内に収まる確率が語れるようになります。

コイン 100 回投げで $n=100$ のとき、LLN は「$\bar{X}_{100}$ が 0.5 に近い」ことを保証します。しかし「$\bar{X}_{100}$ が 0.5 から ±0.06 以上ずれる確率は何%か」は LLN からは答えが出ません。CLT により $\bar{X}_{100} \approx N(0.5, 0.0025)$（標準偏差 0.05）が分かると、$P(|\bar{X}_{100} - 0.5| \ge 0.06) = P(|Z| \ge 1.2) \approx 23\%$ と計算できます。LLN だけでは「近い」とは言えても、「どのくらいの確率で近い」とは言えません。CLT があって初めてその確率が定まります。

保険の例に戻ると、LLN だけでは「10 万件集めれば集団損害の平均が安定する」までしか言えません。CLT があって初めて、SE ≈ 948 円が $\pm 1\sigma$ 範囲（68.3% の確率で集団平均損害額がこの帯に収まる）、$\pm 2\sigma = \pm 1{,}896$ 円範囲（95.4% の確率で収まる）という確率評価が経営判断に乗る形になります。「SE ≈ 948 円以内に 95.4%」ではありません。95.4% が対応するのは ±1,896 円の範囲です。

この相補性は Part 3 全体の構造を決めます。stats-09 で標準誤差 $\sigma/\sqrt{n}$ を推定し、stats-10 で信頼区間 $\bar{X}_n \pm z\sigma/\sqrt{n}$ を構築し、stats-11 で検定統計量の分布を特定します。LLN がなければ $\bar{X}_n$ が $\mu$ に近づく保証がなく、CLT がなければその近さを確率で語れません。2 つの定理が揃って初めて推測統計が成立します。

LLN は個別試行を「補正」するのではなく平均の収束を保証します。1 回 1 回の試行は独立のままで、過去の結果を記憶しません。コインを 5 回連続で裏が出た後でも、次の表の確率は 0.5 のままです。

ばらつきの縮み方: $1/\sqrt{n}$ オーダー

標本平均の標準偏差は $\sigma/\sqrt{n}$ です。$n$ を 100 倍にしても精度は 10 倍しか上がりません。

この式は分散加法性（stats-02 で扱った和の分散）から 2 行で導けます。$X_1, \ldots, X_n$ が i.i.d. で分散 $\sigma^2$ のとき、

$\bar{X}_n = (1/n) \sum X_i$ なので定数 $1/n$ の二乗が前に出て、

標準偏差は

コイン投げ（$\sigma^2 = 0.25$、$\sigma = 0.5$）で確認すると、$n=100$ のとき $\text{SD}(\bar{X}_{100}) = 0.5/\sqrt{100} = 0.05$ です。CLT により $\bar{X}_{100} \approx N(0.5, 0.0025)$ の近似が成立します。

モンテカルロ法では $1/\sqrt{N}$ オーダーが直接コストに跳ね返ります。ATM のヨーロピアン・コール（$S=100, K=100, r=5\%, \sigma=20\%, T=1$）のシミュレーションでは、ペイオフの SD が約 9.5 なので、$N=1{,}000$ で $\text{SE} \approx 0.30$（価格の 2.9%）、$N=100{,}000$ で $\text{SE} \approx 0.030$（0.29%）です。精度を 10 倍にするには $N$ を 100 倍にする必要があります。詳細は stats-practice-monte-carlo で扱います。

この $\sigma/\sqrt{n}$ は stats-09 で正式に「標準誤差 (SE)」と命名します。CLT の式（節 4）の分母にも $\sigma/\sqrt{n}$ が入っていたことを思い出すと、「CLT と $1/\sqrt{n}$ オーダー」は同じ事実の別表現です。

CLT が成り立たない場面: 前提が崩れると何が壊れるか

ここは日次リターンの金融慣習表記を使う節で、節 6 までの累積平均・小数表記とは別の量を扱います。Lindeberg-Lévy CLT は「i.i.d. + 有限分散」の両方を要求します。どちらが崩れても破綻します。1987 年 10 月 19 日、S&P500 は 1 日で -20.5% 下落しました（ブラックマンデー）。クラッシュ前の日次リターン標準偏差は 0.809% で、この下落は 20.5 ÷ 0.809 ≈ 約 25σ イベントに相当します。正規分布仮定では事実上ゼロ確率です。

Cauchy 分布の反例。stats-06 節 9 で「Cauchy 分布の期待値は存在しない」と述べました。その理由を特性関数で確認します。標準 Cauchy 分布の特性関数は $\varphi(t) = e^{-|t|}$ です。$n$ 個の i.i.d. Cauchy 変数の和の特性関数は $(e^{-|t|})^n = e^{-n|t|}$ となり、$\bar{X}_n = (1/n)\sum X_i$ の特性関数は $e^{-n|t/n|} = e^{-|t|}$ です。$n$ を大きくしても特性関数が変わりません。つまり $\bar{X}_n$ は何個足しても Cauchy 分布のままで、平均も分散も未定義なので WLLN も CLT も成立しません。

ガウス分布が世界に偏在する理由

身長・測定誤差・観測ノイズが正規分布に近い形を示す根本理由は CLT です。それらが「多数の独立な要因の和」だからです。

身長を例にとると、「遺伝子座の効果 × 数百個 + 環境要因 × 数十個」の和として身長が決まります（遺伝的な面では数百の独立な遺伝子座が各々に少しずつ寄与する、という多遺伝子モデル）。測定誤差は「温度変動・機械の振動・読み取り誤差」などランダムな小さな擾乱の和です。それぞれの要因が独立で有限分散を持つとき、CLT が正規分布への収束を保証します。Francis Galton が 1874 年に英国王立研究所の講演で示した「Galton ボード」（quincunx）は多数の独立なバイナリ分岐の和が正規分布に収束する様子を物理的に示す装置で、CLT の視覚的デモとして現代でも使われています。

正規分布が「和の分布」であることを踏まえると、分布の種類は生成メカニズムで分類できます。

• 和が支配: 正規分布（独立な多数の要因の加算的合成）
• 積が支配: 対数正規分布（株価の複利成長、細菌の増殖）
• 1 要因が支配: べき分布（地震規模・所得・都市人口）

株式収益率の長期分布、地震規模の分布、所得分布は有限分散の仮定を満たさないか独立性が崩れているため、正規分布では近似できません。「和なら正規」が成り立つのは独立・有限分散の条件が満たされる場合に限られます。安定分布の詳細は stats-supplement-stable-distributions で扱います。

CLT 収束のデモ（静的版）

下の図は指数分布（rate=1）を元の分布に固定し、$n=30$ の場合に 10,000 系列をシミュレートした標本平均のヒストグラムと、理論的な正規分布近似を重ねたものです。節 4 の 4 枚スナップショットを補完する形で、元の分布の歪みによって CLT 収束の速さが違うことを確認します。

青い実線が指数分布（rate=1）から $n=30$ で 10,000 系列をシミュレートした標本平均のヒストグラム、赤い破線が理論的な正規分布近似 $N(1.0, 0.1826^2)$ です。$n=30$ の時点で両者はおおむね一致しており、CLT が機能していることが確認できます。元の分布が何であっても $n$ を増やすとヒストグラムが正規分布に近づき、$n$ を 4 倍にするとヒストグラムの横軸の広がり（標準偏差）が 1/2 になる（$\sqrt{n}$ オーダー）という節 4 の観察と整合しています。

上の静的版は母分布も $n$ も固定でした。下の図では母分布（一様・指数・右歪み・U字）と標本サイズ $n$ を自分で変えられます。「10 回引く／100 回引く」で標本平均を積み上げると、ヒストグラムが赤い理論正規曲線 $N(\mu, \sigma^2/n)$ に重なっていきます。指数分布や U字のように歪んだ母分布から始めても、$n$ を上げれば正規に近づくのが中心極限定理です。

触って確かめる：母分布が何であれ、標本平均は正規分布に近づく

母分布 指数·標本サイズ n=30·試行 0

母分布（指数）から n=30 個を引いて平均する、を繰り返す。n を大きくするほどヒストグラムは赤い理論正規曲線 N(μ, σ²/n) に重なり、横幅は σ/√n で縮む。母分布の形によらないのが中心極限定理の核心。

母分布

一様指数右歪みU字

標本サイズ n30

10 回引く100 回引く理論曲線: ONリセット

母平均 μ

1.000

理論 SE = σ/√n

0.183

実測 SD（標本平均）

—

金融現場での使われ方 / 次に学ぶこと

LLN と CLT が金融現場に登場する場面を示します。保険会社の集団損害管理（節 3 で確認）、ポートフォリオ理論での CLT（多数の独立な銘柄の収益率の平均は正規分布に近づくという前提、ただし節 7 の限界を忘れてはなりません）、モンテカルロ法でのオプション価格計算（$1/\sqrt{N}$ オーダーで標準誤差が縮む、節 6 で確認）の 3 例です。詳細実装は stats-practice-portfolio-clt と stats-practice-monte-carlo で扱います。

stats-09 では $\sigma/\sqrt{n}$ を「標準誤差 (SE)」として正式に定義し、データから SE を推定する方法を扱います。Part 3 では標準誤差・信頼区間・検定・最尤推定の順に進みます。