期待値の線形性 | 用語集

定義

期待値の線形性とは、確率変数の和と定数倍について期待値演算子 $E[\cdot]$ が分解できる性質です。具体的には、確率変数 $X$ , $Y$ と実定数 $a$ , $b$ に対して次の 2 本が成り立ちます。

定義

E[aX + b] = aE[X] + b

定義

E[X + Y] = E[X] + E[Y]

1 本目は定数倍と平行移動が期待値演算子を素通りするという主張です。2 本目は $X$ と $Y$ の独立性を一切要求しない 点が重要で、2 つの変数がどれだけ強く連動していても（あるいは一方が他方の関数であっても）、和の期待値は個別の期待値の和に分解できます。

分散の対応するルール $\mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\mathrm{Cov}(X,Y)$ は共分散 $\mathrm{Cov}(X,Y)$ （2 つの変数の連動度合い）に依存するため、独立性なしには単純加法になりません。期待値だけが「無条件で線形」という強さを持ちます。

性質

和と定数倍の分解: $E[aX + bY + c] = aE[X] + bE[Y] + c$ のように項数を増やしても同様に成立します。定数の期待値は定数自身（ $E[c] = c$ ）なので、定数項 $c$ は自動的に外へ出ます。
独立性は不要: $E[X+Y] = E[X] + E[Y]$ は $X$ と $Y$ の同時分布がどのような形であれ成立します。独立性が必要なのは 積の期待値 $E[XY] = E[X]E[Y]$ の方で、線形性の射程外です。
単調性: $X \le Y$ が確率 1 で成り立つとき $E[X] \le E[Y]$ が成り立ちます。線形性と並ぶ期待値演算子の基本性質です。
凸関数の合成では分解できない: 一般の関数 $g$ に対して $E[g(X)] \ne g(E[X])$ です。 $g$ が凸関数であれば Jensen の不等式 $E[g(X)] \ge g(E[X])$ が成り立ちます。 $g(x) = ax + b$ （線形関数）のときだけ等号になります。

視覚的に見る

サイコロを 2 個振ったとき、目の合計 $X + Y$ の重心がどこに来るかを見ます。1 個目のサイコロの目 $X$ は 1〜6 が等確率 $1/6$ で、重心（期待値）は 3.5 です。2 個目 $Y$ も同じく 3.5 です。

$X$ （青）の重心 3.5 と $Y$ （黄緑）の重心 3.5 を足したものが、合計 $X+Y$ （赤）の重心 7 と一致しています。これが $E[X+Y]=E[X]+E[Y]$ の幾何的な姿です。

重要なのは、ここでは 2 個のサイコロを独立に振った場合を描きましたが、仮に $Y = X$ （2 個目がつねに 1 個目と同じ目を出すという完全な従属）にしても、 $E[X+Y] = E[2X] = 2 \times 3.5 = 7$ と変わりません。 $X$ と $Y$ の連動関係は重心の位置に影響しません。

実世界での使われ方

二項分布の期待値 $np$ を 2 行で出す

コインを $n$ 回投げて表が出た回数 $S$ は二項分布 $B(n, p)$ に従い、期待値は $E[S] = np$ です。これをまともに定義から計算すると $\sum_{k=0}^{n} k \binom{n}{k} p^k (1-p)^{n-k}$ という和を計算することになり、かなり手間がかかります。

線形性を使うと 2 行で済みます。 $S = X_1 + X_2 + \cdots + X_n$ と書き直します。ここで $X_i$ は $i$ 回目の試行で表が出れば 1、裏なら 0 をとるベルヌーイ確率変数です。各 $X_i$ の期待値は $E[X_i] = p$ です。 $n$ 回の試行が独立かどうかにかかわらず、線形性から

E[S] = E[X_1 + X_2 + \cdots + X_n] = E[X_1] + E[X_2] + \cdots + E[X_n] = np

と即座に出ます。Wikipedia「二項分布」で確認できる結果が、定義式を展開せずに得られます。

ポートフォリオの期待リターン

資産 $i$ のリターンを $R_i$ 、組み入れ比率を $w_i$ （ $\sum w_i = 1$ ）とすると、ポートフォリオの期待リターンは

E\!\left[\sum_{i=1}^{n} w_i R_i\right] = \sum_{i=1}^{n} w_i E[R_i]

です。資産間の相関（共分散）は期待リターンの計算に一切現れません。これは実務上重要な意味を持ちます。

期待値と分散で条件が異なる

期待リターン（期待値）は相関に依存せず単純加重和で計算できますが、ポートフォリオのリスク（分散）は $\mathrm{Var}\!\left(\sum w_i R_i\right) = \sum_i \sum_j w_i w_j \mathrm{Cov}(R_i, R_j)$ と相関行列全体に依存します。分散計算では資産間の相関を必ず考慮しなければなりません。

分散化（diversification）がリスク低減に効く理由は、分散計算に共分散が登場するからです。期待リターンの方は「相関があってもなくても単純加重和」です。日本取引所グループ「ETF・ETN の取引概要」に記載されている ETF の基準価額算出でも、構成銘柄の期待リターンは加重和として扱われています。

最小二乗推定量の不偏性

線形回帰モデル $y = \beta x + \varepsilon$ の最小二乗推定量 $\hat{\beta}$ が不偏であること、つまり $E[\hat{\beta}] = \beta$ の証明は、 $\hat{\beta}$ を $y_1, y_2, \ldots, y_n$ の線形和として書いた後、期待値の線形性を適用して $E[y_i] = \beta x_i + E[\varepsilon_i] = \beta x_i$ を代入する構造になっています（Wikipedia「最小二乗法」）。線形性なしには「推定量の期待値を計算する」という操作自体が成り立ちません。

期待値の線形性は、分散の計算では独立性条件が別途必要になる点で、実務上の使い分けの基準になります。

深掘り

以下は同時分布を使った証明です。結論（線形性は独立性を必要としない）だけ知りたい読者は読み飛ばしてかまいません。

5.1 同時分布の周辺化による証明（独立性を一度も使わない）

離散確率変数 $X$ , $Y$ で示します。 $X$ のとりうる値を $x_1, x_2, \ldots$ 、 $Y$ のとりうる値を $y_1, y_2, \ldots$ とし、同時確率 $P(X = x_i, Y = y_j)$ を $p_{ij}$ と書きます。 $X + Y$ の期待値の定義から出発します。

E[X + Y] = \sum_i \sum_j (x_i + y_j)\, p_{ij}

この二重和を $x_i$ の項と $y_j$ の項に分けます。

E[X + Y] = \sum_i \sum_j x_i\, p_{ij} + \sum_i \sum_j y_j\, p_{ij}和の分配

= \sum_i x_i \sum_j p_{ij} + \sum_j y_j \sum_i p_{ij}x_i, y_j を内側の和の外に出す

= \sum_i x_i\, P(X = x_i) + \sum_j y_j\, P(Y = y_j)周辺確率に置き換える

= E[X] + E[Y]期待値の定義

$\sum_j p_{ij} = P(X = x_i)$ が成り立つのは、 $Y$ がどんな値をとろうとも $X = x_i$ になる確率を足し上げれば $X$ の周辺確率になるからです。この置き換えは $X$ と $Y$ の独立性を一切使っていません。連続確率変数でも $\sum \to \int$ 、 $p_{ij} \to f(x, y)\,dx\,dy$ と置き換えるだけで同じ論理が成立します。

独立性が登場しない理由

証明の核心は「 $\sum_j p_{ij} = P(X=x_i)$ 」という周辺化の等式です。これは同時分布の定義から直接従う恒等式であり、独立性（ $p_{ij} = P(X=x_i) P(Y=y_j)$ ）の成立を要求しません。独立性が必要になるのは $E[XY] = E[X]E[Y]$ の証明（ $\sum_i \sum_j x_i y_j p_{ij}$ を分解するとき）の方です。

5.2 分散には独立性が必要な理由

$\mathrm{Var}(X + Y)$ を展開すると次のようになります。

\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\,\mathrm{Cov}(X, Y)

ここで $\mathrm{Cov}(X, Y) = E[XY] - E[X]E[Y]$ は共分散です。 $X$ と $Y$ が独立なら $E[XY] = E[X]E[Y]$ となり共分散が 0 になるため $\mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)$ が成り立ちます。しかし従属な場合には共分散の項が残ります。

$Y = X$ （完全従属）の場合で確認します。

\mathrm{Var}(X + Y) = \mathrm{Var}(X + X) = \mathrm{Var}(2X) = 4\,\mathrm{Var}(X)

対して $\mathrm{Var}(X) + \mathrm{Var}(Y) = 2\,\mathrm{Var}(X)$ なので、 $4\,\mathrm{Var}(X) \ne 2\,\mathrm{Var}(X)$ と差があります。共分散項 $2\,\mathrm{Cov}(X, X) = 2\,\mathrm{Var}(X)$ がその差を埋めています。

期待値と分散の非対称性

和の演算に対して期待値が「いつでも分解できる」のは、期待値が定義から線形作用素（和と定数倍を分解できる写像）だからです。分散は二乗を含む非線形な量であり、 $\mathrm{Var}(X+Y)$ を展開すると交差項 $E[XY]$ が現れます。この $E[XY]$ を分解するには独立性が必要なため、分散は線形ではありません。

サイコロの例で計算します。1 個のサイコロの分散は $\mathrm{Var}(X) = E[X^2] - (E[X])^2 = \frac{1+4+9+16+25+36}{6} - 3.5^2 = \frac{91}{6} - 12.25 = \frac{35}{12} \approx 2.917$ です。2 個を独立に振ったとき $\mathrm{Var}(X+Y) = 2 \times \frac{35}{12} = \frac{35}{6} \approx 5.833$ です。しかし $Y = X$ にすると $\mathrm{Var}(X+Y) = \mathrm{Var}(2X) = 4 \times \frac{35}{12} = \frac{35}{3} \approx 11.667$ になります。期待値はどちらも 7 で変わりませんが、分散は完全従属の方が 2 倍になります。

5.3 単調性と Jensen の不等式

線形性と並ぶ期待値演算子のもう一つの基本性質が 単調性 です。確率 1 で $X \le Y$ が成り立つとき、 $E[X] \le E[Y]$ が成り立ちます。証明は 2 行で済みます。

Y - X \ge 0 \quad \Rightarrow \quad E[Y - X] = E[Y] - E[X] \ge 0

ここで最後の不等号は「非負の確率変数の期待値が 0 以上」という直接の定義から従います（期待値は確率で重みをつけた加重和なので）。

線形性が「和と定数倍の合成（一次関数 $g(x) = ax + b$ ）では完全に分解できる」という性質とすると、Jensen の不等式 は「それより複雑な凸関数では分解できない」という限界を示します。凸関数 $g$ に対して

E[g(X)] \ge g(E[X])

が成り立ちます（凹関数なら不等号が逆）。等号成立は $g$ が線形のとき、または $X$ が定数のときに限ります。

Jensen の不等式の典型例

$g(x) = x^2$ （凸関数）のとき $E[X^2] \ge (E[X])^2$ が成り立ちます。これは $\mathrm{Var}(X) = E[X^2] - (E[X])^2 \ge 0$ と同義です。 $g(x) = \log x$ （凹関数）のとき $E[\log X] \le \log E[X]$ が成り立ちます。幾何平均が算術平均以下という不等式の確率論版です。Jensen の不等式の詳細は Wikipedia「イェンセンの不等式」を参照してください。

「期待値の線形性が利く範囲」は $g(x) = ax + b$ という一次関数だけです。対数、二乗、平方根、指数など、それ以外の関数に対しては $E[g(X)] \ne g(E[X])$ が一般的な姿であり、線形性を誤適用した計算は系統的なバイアスを生みます。

よくある誤解

「独立じゃないと和の期待値が分解できない」は誤りです。 独立性が必要なのは 積の期待値 $E[XY] = E[X]E[Y]$ の方です。和の期待値 $E[X+Y] = E[X]+E[Y]$ は独立性を要求しません。分散のルールと混同するケースが多いので注意が必要です。
「 $E[g(X)] = g(E[X])$ 」も同じく素通りする、は誤りです。 一般の関数 $g$ では成り立ちません。 $g(x) = ax + b$ の場合だけ等号になります。Jensen の不等式がこの誤りを系統的に補正します。

詳しくは

stats-06: 期待値とは何か（サイコロの 3.5 から二項分布の np まで）（節 5「期待値の線形性」と節 6「二項分布の期待値が 2 行で出る」で本辞典の主張を文脈つきで扱っています）

定義

性質