期待値の線形性が独立性なしで成り立つ理由

stats-06 の「期待値の線形性」節では、$E[X+Y] = E[X]+E[Y]$ が $X$ と $Y$ の独立性を要求しないという事実を述べ、証明を <details> の折りたたみで 4 行にまとめました。本補足ではその 4 行を展開し、「なぜ独立性が要らないのか」「完全従属の極端例でも式が崩れないか」「分散の線形性は独立性を要求するのに期待値だけが要らないのはなぜか」という 3 点を式で確かめます。

親記事: 期待値

なぜこの補足が必要か

$E[X+Y] = E[X]+E[Y]$ に「独立でなくても成り立つ」という注記が添えられていると、直感に反します。$X$ と $Y$ が絡み合っていれば、その関係が和の期待値に影響しそうに見えるからです。独立な場合は $P(X=x_i, Y=y_j) = P(X=x_i) \cdot P(Y=y_j)$ という式が成り立ち、計算が単純になると知っている分、「独立性がないと計算が崩れるのでは」という直感が働きます。

独立性は不要です。その理由は式変形の構造にあります。証明のどこにも独立性を使う余地がなく、同時確率を周辺分布に集約する操作だけで $E[X]+E[Y]$ に到達します。以下の節でこの構造を式で追います。

同時分布から周辺分布への集約で示す

$X$ が取りうる値を $x_i$（$i = 1, 2, \ldots$）、$Y$ が取りうる値を $y_j$（$j = 1, 2, \ldots$）とします。$P(X=x_i, Y=y_j)$ は $X = x_i$ かつ $Y = y_j$ が同時に起きる確率で、「同時確率」と呼びます。これは 2 次元の確率の表で、$X$ の値を行、$Y$ の値を列に並べると全マスの和が 1 になります。

まず $X + Y$ の期待値の定義式を書きます。確率変数 $X + Y$ が取りうる値は $x_i + y_j$ で、その確率は $P(X=x_i, Y=y_j)$ ですから

となります。$i$ と $j$ の二重和は「すべての $(x_i, y_j)$ の組み合わせ」について足し合わせることを意味します。

括弧の中 $(x_i + y_j)$ を分配すると、和を 2 つに分けられます。

左の塊は $x_i$ と $P(\cdot)$ の積を全 $(i, j)$ ペアで足し合わせています。右の塊は $y_j$ と $P(\cdot)$ の積を同じ範囲で足し合わせています。この分配は確率の大小や $X$ と $Y$ の関係によらず成立します。

左の塊に注目します。$x_i$ は $j$ に依存しないので $\sum_j$ の外に出せます。

内側の和 $\sum_j P(X=x_i, Y=y_j)$ は「$X = x_i$ という条件のもとで、$Y$ がどんな値を取ろうと全部足す」操作です。$Y$ の値によらず足し合わせると $Y$ の添字が消え、$X = x_i$ の確率だけが残ります。これが周辺化で、数学的には

となります。同時確率の表で「$X = x_i$ の行を横に合計する」だけの操作であり、$X$ と $Y$ がどんな関係を持っていようと、行の合計は $X = x_i$ の確率に等しくなります。独立性を使う余地はここにありません。

右の塊も対称的に処理できます。$y_j$ は $i$ に依存しないので

$\sum_i P(X=x_i, Y=y_j) = P(Y=y_j)$ は「$Y = y_j$ の列を縦に合計する」周辺化です。これも独立性と無関係です。

2 つの塊を合わせると

に到達します。証明の中で $P(X=x_i, Y=y_j) = P(X=x_i) P(Y=y_j)$（独立性の定義式）を一度も使っていません。使ったのは「分配則」「$j$ に依存しない量を $\sum_j$ の外に出す」「行を合計すると周辺確率になる」の 3 つだけです。

完全従属の極端例で確かめる

「独立性なしで成り立つ」を最も鋭く試す状況は、完全従属の場合です。$X$ の値が決まれば $Y$ が完全に決まる関係、つまり片方を知れば他方が 100% 予測できる状況で、線形性が保たれるかを確認します。

例 1: $Y = X$（完全正従属）

サイコロを 1 個振り、出た目を $X$ とします。$Y = X$ と定義すると、$X$ が 3 なら $Y$ も 3 で、$X$ と $Y$ は完全に一致します。この場合の同時確率は

確率が対角線にだけ並んでいます。行を横に合計すると各行が $1/6$（$X$ の周辺確率）、列を縦に合計すると各列が $1/6$（$Y$ の周辺確率）になります。

直接計算すると：$X + Y = 2X$ なので $E[X+Y] = E[2X] = 2 \times 3.5 = 7$ です。

線形性で計算すると：$E[X] = 3.5$、$E[Y] = E[X] = 3.5$ なので $E[X]+E[Y] = 7$ となります。一致します。

例 2: $Y = -X$（完全負従属）

$X$ を $+1$ と $-1$ を各確率 $1/2$ で取る確率変数とし、$Y = -X$ と定義します。$X = +1$ なら $Y = -1$ になり、$X = -1$ なら $Y = +1$ になります。$E[X] = (+1) \times 1/2 + (-1) \times 1/2 = 0$、$E[Y] = E[-X] = -E[X] = 0$ です。

$X + Y = X + (-X) = 0$ で、$X+Y$ は常に 0 になります。したがって $E[X+Y] = E[0] = 0$ です。

線形性で計算すると：$E[X]+E[Y] = 0 + 0 = 0$ となります。こちらも一致します。

ここで一歩踏み込みます。$X+Y = 0$ は定数で、その分散は $\mathrm{Var}[X+Y] = \mathrm{Var}[0] = 0$ です。一方、$\mathrm{Var}[X] = E[X^2] - (E[X])^2 = 1 - 0 = 1$ なので、単純に足すと $\mathrm{Var}[X]+\mathrm{Var}[Y] = 1 + 1 = 2$ になります。$\mathrm{Var}[X+Y] = 0$ なのに $\mathrm{Var}[X]+\mathrm{Var}[Y] = 2$ という状況です。

分散の線形性は独立性を要求する

分散の定義から出発します。$\mu_X = E[X]$、$\mu_Y = E[Y]$ として

括弧の中を $(X - \mu_X) + (Y - \mu_Y)$ と書き直し、二乗を展開すると

最初の 2 項は $\mathrm{Var}[X]$ と $\mathrm{Var}[Y]$ です。第 3 項に出てくる $E[(X-\mu_X)(Y-\mu_Y)]$ を共分散と呼び、$\mathrm{Cov}(X, Y)$ と書きます。整理すると

となります。

共分散 $\mathrm{Cov}(X, Y) = E[(X-\mu_X)(Y-\mu_Y)]$ は「$X$ が平均より大きいときに $Y$ も平均より大きい傾向の強さ」を数値化した量です。$(X-\mu_X)$ と $(Y-\mu_Y)$ の積を平均しているので、両者が同じ方向に動けば正、逆方向に動けば負、関係がなければ 0 に近くなります。

$X$ と $Y$ が独立なら、同時確率が $P(X=x_i, Y=y_j) = P(X=x_i)P(Y=y_j)$ に因数分解できるため、積の期待値も因数分解できます。つまり $E[(X-\mu_X)(Y-\mu_Y)] = E[X-\mu_X] \cdot E[Y-\mu_Y] = 0 \cdot 0 = 0$ となります。独立なら共分散は 0 ですから $\mathrm{Cov}(X, Y)$ 項が消え、$\mathrm{Var}[X+Y] = \mathrm{Var}[X]+\mathrm{Var}[Y]$ が成り立ちます。従属の場合は共分散が 0 でなく残ります。

前節の $Y = -X$ で確認します。$\mu_{-X} = -\mu_X = 0$ なので

$\mathrm{Var}[X] = 1$ なので $\mathrm{Cov}(X, -X) = -1$ となります。これを分散の式に代入すると

前節で直接計算した $\mathrm{Var}[X+Y] = 0$ と一致しました。

期待値と分散が非対称になる根本的な理由は、演算の構造の違いにあります。期待値 $E[X+Y]$ の計算で中心になるのは $(x_i + y_j)$ という和です。和を $x_i$ と $y_j$ に分けて別々に平均を取る操作は、$X$ と $Y$ の関係構造に干渉しません。一方、分散 $\mathrm{Var}[X+Y]$ の計算では $(X+Y-\mu_X-\mu_Y)^2$ を展開したときに $(X-\mu_X)(Y-\mu_Y)$ という積の項が出ます。積の項には $X$ と $Y$ が「一緒にどう変化するか」の情報が含まれるため、この項をゼロにするには独立性の仮定が必要です。

結論として何が言えるか + 親記事に戻る

本補足で確認したことを整理します。

• $E[X+Y] = E[X]+E[Y]$ の証明は「周辺化」だけで完結し、独立性を一度も使いません。同時確率の行・列を合計するだけで、関係構造は計算に入りません。
• $Y = X$（完全正従属）でも $Y = -X$（完全負従属）でも期待値の線形性は成り立ちます。直接計算と線形性の計算は常に一致します。
• 分散には共分散項 $2\,\mathrm{Cov}(X, Y)$ が出ます。独立なら共分散は 0 になり $\mathrm{Var}[X+Y] = \mathrm{Var}[X]+\mathrm{Var}[Y]$ が成り立ちますが、従属の場合は共分散が残るため分散の単純加法は成り立ちません。

「期待値は独立性不要」という性質の応用例として、ランダム順列の固定点期待値があります。$n$ 枚のカードをシャッフルしたとき、元の位置に留まるカード（固定点）の枚数の期待値は 1 になります。18 世紀の数学者モンモール（1708 年）が問題として定式化したこの計算でも、各カードが固定点かどうかを示す指示変数 $X_k$（固定点なら 1、そうでなければ 0）を使い、$E[\sum_k X_k] = \sum_k E[X_k] = \sum_k 1/n = 1$ と線形性で一行に導けます。$n$ 枚のカードが互いに独立でないにもかかわらず、期待値の線形性が直接使えるためです。同じ仕組みは機械学習のアンサンブル学習にも現れます。複数モデルの予測が互いに独立でなくても、それぞれの予測期待値の和として全体の期待値が計算できます（ただし分散の縮小効果は独立性に依存します）。

Part 3 で扱う標準誤差では、独立な確率変数の和の分散が $\mathrm{Var}[X_1+X_2+\cdots+X_n] = n\,\mathrm{Var}[X_1]$ となる事実を使います。これは分散の加法に独立性を要求した上で成り立つ結果です。本補足で見た「分散には共分散項が残る」という制約が、標準誤差の導出で独立性の仮定を必要とする直接の理由になります。

• 親記事: 期待値（線形性の節、本補足の展開元）
• 関連する補足: サンクトペテルブルクのパラドックス（期待値が発散する極端例）
• 関連する本編: 標準誤差（Part 3 で扱う、分散の独立加法が使われる先）