期待値の線形性が独立性なしで成り立つ理由

独立でない確率変数でも「和の期待値は期待値の和」は成り立ちます。同時確率の行と列を合計するだけで証明でき、独立性を仮定する必要がありません。一方、分散の加法には共分散項が残るため独立性が要ります。この非対称の理由を式で確かめます。

stats-06 の「期待値の線形性」節では、 $E[X+Y] = E[X]+E[Y]$ が $X$ と $Y$ の独立性を要求しないという事実を述べ、証明を <details> の折りたたみで 4 行にまとめました。本補足ではその 4 行を展開し、「なぜ独立性が要らないのか」「完全従属の極端例でも式が崩れないか」「分散の線形性は独立性を要求するのに期待値だけが要らないのはなぜか」という 3 点を式で確かめます。

親記事: 期待値

なぜこの補足が必要か

$E[X+Y] = E[X]+E[Y]$ に「独立でなくても成り立つ」という注記が添えられていると、直感に反します。 $X$ と $Y$ が絡み合っていれば、その関係が和の期待値に影響しそうに見えるからです。独立な場合は $P(X=x_i, Y=y_j) = P(X=x_i) \cdot P(Y=y_j)$ という式が成り立ち、計算が単純になると知っている分、「独立性がないと計算が崩れるのでは」という直感が働きます。

独立性は不要です。その理由は式変形の構造にあります。証明のどこにも独立性を使う余地がなく、同時確率を周辺分布に集約する操作だけで $E[X]+E[Y]$ に到達します。以下の節でこの構造を式で追います。

同時分布から周辺分布への集約で示す

$X$ が取りうる値を $x_i$ （ $i = 1, 2, \ldots$ ）、 $Y$ が取りうる値を $y_j$ （ $j = 1, 2, \ldots$ ）とします。 $P(X=x_i, Y=y_j)$ は $X = x_i$ かつ $Y = y_j$ が同時に起きる確率で、「同時確率」と呼びます。これは 2 次元の確率の表で、 $X$ の値を行、 $Y$ の値を列に並べると全マスの和が 1 になります。

まず $X + Y$ の期待値の定義式を書きます。確率変数 $X + Y$ が取りうる値は $x_i + y_j$ で、その確率は $P(X=x_i, Y=y_j)$ ですから

E[X+Y] = \sum_i \sum_j (x_i + y_j) \, P(X=x_i, Y=y_j)

となります。 $i$ と $j$ の二重和は「すべての $(x_i, y_j)$ の組み合わせ」について足し合わせることを意味します。

括弧の中 $(x_i + y_j)$ を分配すると、和を 2 つに分けられます。

= \sum_i \sum_j x_i \, P(X=x_i, Y=y_j) + \sum_i \sum_j y_j \, P(X=x_i, Y=y_j)

左の塊は $x_i$ と $P(\cdot)$ の積を全 $(i, j)$ ペアで足し合わせています。右の塊は $y_j$ と $P(\cdot)$ の積を同じ範囲で足し合わせています。この分配は確率の大小や $X$ と $Y$ の関係によらず成立します。

左の塊に注目します。 $x_i$ は $j$ に依存しないので $\sum_j$ の外に出せます。

\sum_i \sum_j x_i \, P(X=x_i, Y=y_j) = \sum_i x_i \sum_j P(X=x_i, Y=y_j)

内側の和 $\sum_j P(X=x_i, Y=y_j)$ は「 $X = x_i$ という条件のもとで、 $Y$ がどんな値を取ろうと全部足す」操作です。 $Y$ の値によらず足し合わせると $Y$ の添字が消え、 $X = x_i$ の確率だけが残ります。これが周辺化で、数学的には

\sum_j P(X=x_i, Y=y_j) = P(X=x_i)

となります。同時確率の表で「 $X = x_i$ の行を横に合計する」だけの操作であり、 $X$ と $Y$ がどんな関係を持っていようと、行の合計は $X = x_i$ の確率に等しくなります。独立性を使う余地はここにありません。

右の塊も対称的に処理できます。 $y_j$ は $i$ に依存しないので

\sum_i \sum_j y_j \, P(X=x_i, Y=y_j) = \sum_j y_j \sum_i P(X=x_i, Y=y_j) = \sum_j y_j P(Y=y_j)

$\sum_i P(X=x_i, Y=y_j) = P(Y=y_j)$ は「 $Y = y_j$ の列を縦に合計する」周辺化です。これも独立性と無関係です。

2 つの塊を合わせると

E[X+Y] = \sum_i x_i P(X=x_i) + \sum_j y_j P(Y=y_j) = E[X] + E[Y]

に到達します。証明の中で $P(X=x_i, Y=y_j) = P(X=x_i) P(Y=y_j)$ （独立性の定義式）を一度も使っていません。使ったのは「分配則」「 $j$ に依存しない量を $\sum_j$ の外に出す」「行を合計すると周辺確率になる」の 3 つだけです。

核心

$E[X+Y] = E[X]+E[Y]$ の証明で使うのは「周辺化」だけです。同時確率 $P(X=x_i, Y=y_j)$ の行を横に合計すれば $X$ の周辺確率が出ます。列を縦に合計すれば $Y$ の周辺確率が出ます。関係構造（独立か従属か）は和の計算に入り込みません。

完全従属の極端例で確かめる

「独立性なしで成り立つ」を最も鋭く試す状況は、完全従属の場合です。 $X$ の値が決まれば $Y$ が完全に決まる関係、つまり片方を知れば他方が 100% 予測できる状況で、線形性が保たれるかを確認します。

例 1: $Y = X$ （完全正従属）

サイコロを 1 個振り、出た目を $X$ とします。 $Y = X$ と定義すると、 $X$ が 3 なら $Y$ も 3 で、 $X$ と $Y$ は完全に一致します。この場合の同時確率は

$Y \backslash X$	1	2	3	4	5	6
1	1/6	0	0	0	0	0
2	0	1/6	0	0	0	0
3	0	0	1/6	0	0	0
4	0	0	0	1/6	0	0
5	0	0	0	0	1/6	0
6	0	0	0	0	0	1/6

確率が対角線にだけ並んでいます。行を横に合計すると各行が $1/6$ （ $X$ の周辺確率）、列を縦に合計すると各列が $1/6$ （ $Y$ の周辺確率）になります。

図の読み方

横軸が $X$ （1〜6）、縦軸が $Y$ （1〜6）です。青い円は確率 $1/6$ の組み合わせで、対角線上の 6 マスにのみ存在します。行を横に合計すると各行の和が $1/6$ （ $X$ の周辺確率）になり、列を縦に合計すると各列の和が $1/6$ （ $Y$ の周辺確率）になります。対角線以外の 30 マスは確率 0 です。

直接計算すると： $X + Y = 2X$ なので $E[X+Y] = E[2X] = 2 \times 3.5 = 7$ です。

線形性で計算すると： $E[X] = 3.5$ 、 $E[Y] = E[X] = 3.5$ なので $E[X]+E[Y] = 7$ となります。一致します。

例 2: $Y = -X$ （完全負従属）

$X$ を $+1$ と $-1$ を各確率 $1/2$ で取る確率変数とし、 $Y = -X$ と定義します。 $X = +1$ なら $Y = -1$ になり、 $X = -1$ なら $Y = +1$ になります。 $E[X] = (+1) \times 1/2 + (-1) \times 1/2 = 0$ 、 $E[Y] = E[-X] = -E[X] = 0$ です。

$X + Y = X + (-X) = 0$ で、 $X+Y$ は常に 0 になります。したがって $E[X+Y] = E[0] = 0$ です。

線形性で計算すると： $E[X]+E[Y] = 0 + 0 = 0$ となります。こちらも一致します。

ここで一歩踏み込みます。 $X+Y = 0$ は定数で、その分散は $\mathrm{Var}[X+Y] = \mathrm{Var}[0] = 0$ です。一方、 $\mathrm{Var}[X] = E[X^2] - (E[X])^2 = 1 - 0 = 1$ なので、単純に足すと $\mathrm{Var}[X]+\mathrm{Var}[Y] = 1 + 1 = 2$ になります。 $\mathrm{Var}[X+Y] = 0$ なのに $\mathrm{Var}[X]+\mathrm{Var}[Y] = 2$ という状況です。

よくある誤解

期待値の線形性が独立性なしで成り立つからといって、分散の線形性も独立性なしで成り立つわけではありません。 $Y = -X$ の例で $\mathrm{Var}[X+Y] = 0$ ですが $\mathrm{Var}[X]+\mathrm{Var}[Y] = 2$ で、2 つは一致しません。この非対称が次の節の主題です。

分散の線形性は独立性を要求する

分散の定義から出発します。 $\mu_X = E[X]$ 、 $\mu_Y = E[Y]$ として

\mathrm{Var}[X+Y] = E[(X+Y-\mu_X-\mu_Y)^2]

括弧の中を $(X - \mu_X) + (Y - \mu_Y)$ と書き直し、二乗を展開すると

= E[(X-\mu_X)^2] + E[(Y-\mu_Y)^2] + 2\,E[(X-\mu_X)(Y-\mu_Y)]

最初の 2 項は $\mathrm{Var}[X]$ と $\mathrm{Var}[Y]$ です。第 3 項に出てくる $E[(X-\mu_X)(Y-\mu_Y)]$ を共分散と呼び、 $\mathrm{Cov}(X, Y)$ と書きます。整理すると

\mathrm{Var}[X+Y] = \mathrm{Var}[X] + \mathrm{Var}[Y] + 2\,\mathrm{Cov}(X, Y)

となります。

共分散 $\mathrm{Cov}(X, Y) = E[(X-\mu_X)(Y-\mu_Y)]$ は「 $X$ が平均より大きいときに $Y$ も平均より大きい傾向の強さ」を数値化した量です。 $(X-\mu_X)$ と $(Y-\mu_Y)$ の積を平均しているので、両者が同じ方向に動けば正、逆方向に動けば負、関係がなければ 0 に近くなります。

$X$ と $Y$ が独立なら、同時確率が $P(X=x_i, Y=y_j) = P(X=x_i)P(Y=y_j)$ に因数分解できるため、積の期待値も因数分解できます。つまり $E[(X-\mu_X)(Y-\mu_Y)] = E[X-\mu_X] \cdot E[Y-\mu_Y] = 0 \cdot 0 = 0$ となります。独立なら共分散は 0 ですから $\mathrm{Cov}(X, Y)$ 項が消え、 $\mathrm{Var}[X+Y] = \mathrm{Var}[X]+\mathrm{Var}[Y]$ が成り立ちます。

この含意は一方向だけです。「独立 ⇒ 共分散 0」は成り立ちますが、逆の「共分散 0 ⇒ 独立」は成り立ちません。 $X$ が $-1, 0, +1$ を各確率 $1/3$ で取り、 $Y = X^2$ とすると、 $Y$ は $X$ から完全に決まる従属関係にあります。それでも $E[X] = 0$ 、 $E[XY] = E[X^3] = 0$ なので $\mathrm{Cov}(X, Y) = E[XY] - E[X]E[Y] = 0$ です。共分散は「同じ方向に動く傾向」を測る量なので、 $X$ の符号を反転しても $Y$ が変わらないような対称な従属関係は検出できません。したがって従属だからといって共分散項が残るとは限らず、共分散 0 の従属変数では分散の単純加法がたまたま成立します。 $\mathrm{Cov}(X, Y) = 0$ という条件（無相関）は独立性より弱く、分散の加法性に必要なのはこの弱い条件だけです。

前節の $Y = -X$ で確認します。 $\mu_{-X} = -\mu_X = 0$ なので

\mathrm{Cov}(X, -X) = E[(X-\mu_X)(-X-\mu_{-X})] = E[(X-\mu_X)(-(X-\mu_X))] = -E[(X-\mu_X)^2] = -\mathrm{Var}[X]

$\mathrm{Var}[X] = 1$ なので $\mathrm{Cov}(X, -X) = -1$ となります。これを分散の式に代入すると

\mathrm{Var}[X+(-X)] = \mathrm{Var}[X] + \mathrm{Var}[-X] + 2\,\mathrm{Cov}(X,-X) = 1 + 1 + 2 \times (-1) = 0

前節で直接計算した $\mathrm{Var}[X+Y] = 0$ と一致しました。

期待値と分散が非対称になる根本的な理由は、演算の構造の違いにあります。期待値 $E[X+Y]$ の計算で中心になるのは $(x_i + y_j)$ という和です。和を $x_i$ と $y_j$ に分けて別々に平均を取る操作は、 $X$ と $Y$ の関係構造に干渉しません。一方、分散 $\mathrm{Var}[X+Y]$ の計算では $(X+Y-\mu_X-\mu_Y)^2$ を展開したときに $(X-\mu_X)(Y-\mu_Y)$ という積の項が出ます。積の項には $X$ と $Y$ が「一緒にどう変化するか」の情報が含まれるため、一般には残ります。この項をゼロにする十分条件が独立性で、実際に必要なのは共分散 0（無相関）という、より弱い条件です。

期待値と分散の構造差

期待値は和だけで計算が完結します。和は分配・集約だけで整理でき、変数間の関係構造が入り込みません。分散は二乗（積）を含みます。二乗を展開したときに生まれる交差項が共分散であり、この項に $X$ と $Y$ の関係構造が凝縮されています。期待値は独立性を見ず、分散は独立性を見ます。この非対称は演算の構造から必然的に生まれます。

結論として何が言えるか + 親記事に戻る

本補足で確認したことを整理します。

$E[X+Y] = E[X]+E[Y]$ の証明は「周辺化」だけで完結し、独立性を一度も使いません。同時確率の行・列を合計するだけで、関係構造は計算に入りません。
$Y = X$ （完全正従属）でも $Y = -X$ （完全負従属）でも期待値の線形性は成り立ちます。直接計算と線形性の計算は常に一致します。
分散には共分散項 $2\,\mathrm{Cov}(X, Y)$ が出ます。独立なら共分散は 0 になり $\mathrm{Var}[X+Y] = \mathrm{Var}[X]+\mathrm{Var}[Y]$ が成り立ちます。逆は成り立たず、 $Y = X^2$ （ $X$ は $-1, 0, +1$ を等確率で取る）のように従属でも共分散が 0 になる例があります。分散の単純加法に必要なのは独立性ではなく共分散 0 です。

「期待値は独立性不要」という性質の応用例として、ランダム順列の固定点期待値があります。 $n$ 枚のカードをシャッフルしたとき、元の位置に留まるカード（固定点）の枚数の期待値は 1 になります。18 世紀の数学者モンモール（1708 年）が問題として定式化したこの計算でも、各カードが固定点かどうかを示す指示変数 $X_k$ （固定点なら 1、そうでなければ 0）を使い、 $E[\sum_k X_k] = \sum_k E[X_k] = \sum_k 1/n = 1$ と線形性で一行に導けます。 $n$ 枚のカードが互いに独立でないにもかかわらず、期待値の線形性が直接使えるためです。同じ仕組みは機械学習のアンサンブル学習にも現れます。複数モデルの予測が互いに独立でなくても、それぞれの予測期待値の和として全体の期待値が計算できます（ただし分散の縮小効果は独立性に依存します）。

Part 3 で扱う標準誤差では、独立な確率変数の和の分散が $\mathrm{Var}[X_1+X_2+\cdots+X_n] = n\,\mathrm{Var}[X_1]$ となる事実を使います。これは分散の加法に独立性を要求した上で成り立つ結果です。本補足で見た「分散には共分散項が残る」という制約が、標準誤差の導出で独立性の仮定を必要とする直接の理由になります。

親記事: 期待値（線形性の節、本補足の展開元）
関連する補足: サンクトペテルブルクのパラドックス（期待値が発散する極端例）
関連する本編: 標準誤差（Part 3 で扱う、分散の独立加法が使われる先）