期待値 の線形性とは、確率変数 の和と定数倍について期待値 演算子 E [ ⋅ ] E[\cdot] E [ ⋅ ] 確率変数 X X X Y Y Y a a a b b b
1 本目は定数倍と平行移動が期待値 演算子を素通りするという主張です。2 本目は X X X Y Y Y 独立性 を一切要求しない期待値 は個別の期待値 の和に分解できます。
分散の対応するルール V a r ( X + Y ) = V a r ( X ) + V a r ( Y ) + 2 C o v ( X , Y ) \mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\mathrm{Cov}(X,Y) Var ( X + Y ) = Var ( X ) + Var ( Y ) + 2 Cov ( X , Y ) C o v ( X , Y ) \mathrm{Cov}(X,Y) Cov ( X , Y ) 独立 ならば無相関なので加法性は成り立ちますが、必要なのは無相関性までです。期待値 だけが「無条件で線形」という強さを持ちます。
和と定数倍の分解 : E [ a X + b Y + c ] = a E [ X ] + b E [ Y ] + c E[aX + bY + c] = aE[X] + bE[Y] + c E [ a X + bY + c ] = a E [ X ] + b E [ Y ] + c 期待値 は定数自身（E [ c ] = c E[c] = c E [ c ] = c c c c 独立性 は不要E [ X + Y ] = E [ X ] + E [ Y ] E[X+Y] = E[X] + E[Y] E [ X + Y ] = E [ X ] + E [ Y ] X X X Y Y Y 同時分布 がどのような形であれ成立します。追加の仮定が要るのは 積の期待値 E [ X Y ] = E [ X ] E [ Y ] E[XY] = E[X]E[Y] E [ X Y ] = E [ X ] E [ Y ] C o v ( X , Y ) = 0 \mathrm{Cov}(X,Y) = 0 Cov ( X , Y ) = 0 独立性 はそれを保証する十分条件にすぎません。従属でも無相関という組み合わせは存在します。単調性 : X ≤ Y X \le Y X ≤ Y E [ X ] ≤ E [ Y ] E[X] \le E[Y] E [ X ] ≤ E [ Y ] 期待値 演算子の基本性質です。凸関数の合成では分解できない : 一般の関数 g g g E [ g ( X ) ] ≠ g ( E [ X ] ) E[g(X)] \ne g(E[X]) E [ g ( X )] = g ( E [ X ]) g g g E [ g ( X ) ] ≥ g ( E [ X ] ) E[g(X)] \ge g(E[X]) E [ g ( X )] ≥ g ( E [ X ]) g ( x ) = a x + b g(x) = ax + b g ( x ) = a x + b
サイコロを 2 個振ったとき、目の合計 X + Y X + Y X + Y X X X 1 / 6 1/6 1/6 期待値 ）は 3.5 です。2 個目 Y Y Y
2 個のサイコロの目の重心と合計の重心 X（サイコロ 1） E[X]=3.5 Y（サイコロ 2） E[Y]=3.5 X+Y（合計） E[X+Y]=7 3.5 + 3.5 = 7 1 2 3 4 5 6 7 8 9 10 11 12 目の値 X X X Y Y Y X + Y X+Y X + Y E [ X + Y ] = E [ X ] + E [ Y ] E[X+Y]=E[X]+E[Y] E [ X + Y ] = E [ X ] + E [ Y ]
重要なのは、ここでは 2 個のサイコロを独立 に振った場合を描きましたが、仮に Y = X Y = X Y = X E [ X + Y ] = E [ 2 X ] = 2 × 3.5 = 7 E[X+Y] = E[2X] = 2 \times 3.5 = 7 E [ X + Y ] = E [ 2 X ] = 2 × 3.5 = 7 X X X Y Y Y
二項分布 の期待値 n p np n p コインを n n n S S S 二項分布 B ( n , p ) B(n, p) B ( n , p ) 期待値 は E [ S ] = n p E[S] = np E [ S ] = n p ∑ k = 0 n k ( n k ) p k ( 1 − p ) n − k \sum_{k=0}^{n} k \binom{n}{k} p^k (1-p)^{n-k} ∑ k = 0 n k ( k n ) p k ( 1 − p ) n − k
線形性を使うと 2 行で済みます。S = X 1 + X 2 + ⋯ + X n S = X_1 + X_2 + \cdots + X_n S = X 1 + X 2 + ⋯ + X n X i X_i X i i i i ベルヌーイ確率変数 です。各 X i X_i X i 期待値 は E [ X i ] = p E[X_i] = p E [ X i ] = p n n n 独立 かどうかにかかわらず、線形性から
と即座に出ます。Wikipedia「二項分布」 で確認できる結果が、定義式を展開せずに得られます。
ポートフォリオの期待リターン
資産 i i i R i R_i R i w i w_i w i ∑ w i = 1 \sum w_i = 1 ∑ w i = 1
です。資産間の相関（共分散）は期待リターンの計算に一切現れません。これは実務上重要な意味を持ちます。
期待リターン（期待値 ）は相関に依存せず単純加重和で計算できますが、ポートフォリオのリスク（分散）は V a r ( ∑ w i R i ) = ∑ i ∑ j w i w j C o v ( R i , R j ) \mathrm{Var}\!\left(\sum w_i R_i\right) = \sum_i \sum_j w_i w_j \mathrm{Cov}(R_i, R_j) Var ( ∑ w i R i ) = ∑ i ∑ j w i w j Cov ( R i , R j )
分散化（diversification）がリスク低減に効く理由は、分散計算に共分散が登場するからです。期待リターンの方は「相関があってもなくても単純加重和」です。日本取引所グループ「ETF・ETN の取引概要 」に記載されている ETF の基準価額算出でも、構成銘柄の期待リターンは加重和として扱われています。
最小二乗推定量の不偏性
線形回帰モデル y = β x + ε y = \beta x + \varepsilon y = β x + ε β ^ \hat{\beta} β ^ E [ β ^ ] = β E[\hat{\beta}] = \beta E [ β ^ ] = β β ^ \hat{\beta} β ^ y 1 , y 2 , … , y n y_1, y_2, \ldots, y_n y 1 , y 2 , … , y n 期待値 の線形性を適用して E [ y i ] = β x i + E [ ε i ] = β x i E[y_i] = \beta x_i + E[\varepsilon_i] = \beta x_i E [ y i ] = β x i + E [ ε i ] = β x i Wikipedia「最小二乗法」 ）。線形性なしには「推定量の期待値 を計算する」という操作自体が成り立ちません。
期待値 の線形性は、分散の計算では無相関性（独立性 はその十分条件）が別途必要になる点で、実務上の使い分けの基準になります。
以下は同時分布 を使った証明です。結論（線形性は独立性 を必要としない）だけ知りたい読者は読み飛ばしてかまいません。
5.1 同時分布 の周辺化による証明（独立性 を一度も使わない）
離散確率変数 X X X Y Y Y X X X x 1 , x 2 , … x_1, x_2, \ldots x 1 , x 2 , … Y Y Y y 1 , y 2 , … y_1, y_2, \ldots y 1 , y 2 , … 同時確率 P ( X = x i , Y = y j ) P(X = x_i, Y = y_j) P ( X = x i , Y = y j ) p i j p_{ij} p ij X + Y X + Y X + Y 期待値 の定義から出発します。
この二重和を x i x_i x i y j y_j y j
E[X + Y] = \sum_i \sum_j x_i\, p_{ij} + \sum_i \sum_j y_j\, p_{ij} 和の分配
= \sum_i x_i \sum_j p_{ij} + \sum_j y_j \sum_i p_{ij} x_i, y_j を内側の和の外に出す
= \sum_i x_i\, P(X = x_i) + \sum_j y_j\, P(Y = y_j) 周辺確率に置き換える
= E[X] + E[Y] 期待値の定義
∑ j p i j = P ( X = x i ) \sum_j p_{ij} = P(X = x_i) ∑ j p ij = P ( X = x i ) Y Y Y X = x i X = x_i X = x i X X X 周辺確率 になるからです。この置き換えは X X X Y Y Y 独立性 を一切使っていません。連続確率変数 でも ∑ → ∫ \sum \to \int ∑ → ∫ p i j → f ( x , y ) d x d y p_{ij} \to f(x, y)\,dx\,dy p ij → f ( x , y ) d x d y
証明の核心は「∑ j p i j = P ( X = x i ) \sum_j p_{ij} = P(X=x_i) ∑ j p ij = P ( X = x i ) 同時分布 の定義から直接従う恒等式であり、独立性 （p i j = P ( X = x i ) P ( Y = y j ) p_{ij} = P(X=x_i) P(Y=y_j) p ij = P ( X = x i ) P ( Y = y j ) E [ X Y ] = E [ X ] E [ Y ] E[XY] = E[X]E[Y] E [ X Y ] = E [ X ] E [ Y ] ∑ i ∑ j x i y j p i j \sum_i \sum_j x_i y_j p_{ij} ∑ i ∑ j x i y j p ij 独立性 はその十分条件として使えますが、必要条件ではありません。
5.2 分散には無相関性が必要な理由
V a r ( X + Y ) \mathrm{Var}(X + Y) Var ( X + Y )
ここで C o v ( X , Y ) = E [ X Y ] − E [ X ] E [ Y ] \mathrm{Cov}(X, Y) = E[XY] - E[X]E[Y] Cov ( X , Y ) = E [ X Y ] − E [ X ] E [ Y ] X X X Y Y Y 独立 なら E [ X Y ] = E [ X ] E [ Y ] E[XY] = E[X]E[Y] E [ X Y ] = E [ X ] E [ Y ] V a r ( X + Y ) = V a r ( X ) + V a r ( Y ) \mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) Var ( X + Y ) = Var ( X ) + Var ( Y )
Y = X Y = X Y = X
対して V a r ( X ) + V a r ( Y ) = 2 V a r ( X ) \mathrm{Var}(X) + \mathrm{Var}(Y) = 2\,\mathrm{Var}(X) Var ( X ) + Var ( Y ) = 2 Var ( X ) 4 V a r ( X ) ≠ 2 V a r ( X ) 4\,\mathrm{Var}(X) \ne 2\,\mathrm{Var}(X) 4 Var ( X ) = 2 Var ( X ) 2 C o v ( X , X ) = 2 V a r ( X ) 2\,\mathrm{Cov}(X, X) = 2\,\mathrm{Var}(X) 2 Cov ( X , X ) = 2 Var ( X )
和の演算に対して期待値 が「いつでも分解できる」のは、期待値 が定義から線形作用素（和と定数倍を分解できる写像）だからです。分散は二乗を含む非線形な量であり、V a r ( X + Y ) \mathrm{Var}(X+Y) Var ( X + Y ) E [ X Y ] E[XY] E [ X Y ] E [ X Y ] E[XY] E [ X Y ] 独立性 はその十分条件）という追加の仮定が要るため、分散は線形ではありません。
サイコロの例で計算します。1 個のサイコロの分散は V a r ( X ) = E [ X 2 ] − ( E [ X ] ) 2 = 1 + 4 + 9 + 16 + 25 + 36 6 − 3.5 2 = 91 6 − 12.25 = 35 12 ≈ 2.917 \mathrm{Var}(X) = E[X^2] - (E[X])^2 = \frac{1+4+9+16+25+36}{6} - 3.5^2 = \frac{91}{6} - 12.25 = \frac{35}{12} \approx 2.917 Var ( X ) = E [ X 2 ] − ( E [ X ] ) 2 = 6 1 + 4 + 9 + 16 + 25 + 36 − 3. 5 2 = 6 91 − 12.25 = 12 35 ≈ 2.917 独立 に振ったとき V a r ( X + Y ) = 2 × 35 12 = 35 6 ≈ 5.833 \mathrm{Var}(X+Y) = 2 \times \frac{35}{12} = \frac{35}{6} \approx 5.833 Var ( X + Y ) = 2 × 12 35 = 6 35 ≈ 5.833 Y = X Y = X Y = X V a r ( X + Y ) = V a r ( 2 X ) = 4 × 35 12 = 35 3 ≈ 11.667 \mathrm{Var}(X+Y) = \mathrm{Var}(2X) = 4 \times \frac{35}{12} = \frac{35}{3} \approx 11.667 Var ( X + Y ) = Var ( 2 X ) = 4 × 12 35 = 3 35 ≈ 11.667 期待値 はどちらも 7 で変わりませんが、分散は完全従属の方が 2 倍になります。
5.3 単調性と Jensen の不等式
線形性と並ぶ期待値 演算子のもう一つの基本性質が 単調性 です。確率 1 で X ≤ Y X \le Y X ≤ Y E [ X ] ≤ E [ Y ] E[X] \le E[Y] E [ X ] ≤ E [ Y ]
ここで最後の不等号は「非負の確率変数 の期待値 が 0 以上」という直接の定義から従います（期待値 は確率で重みをつけた加重和なので）。
線形性が「和と定数倍の合成（一次関数 g ( x ) = a x + b g(x) = ax + b g ( x ) = a x + b Jensen の不等式 は「それより複雑な凸関数では分解できない」という限界を示します。凸関数 g g g
が成り立ちます（凹関数なら不等号が逆）。等号成立は g g g X X X
g ( x ) = x 2 g(x) = x^2 g ( x ) = x 2 E [ X 2 ] ≥ ( E [ X ] ) 2 E[X^2] \ge (E[X])^2 E [ X 2 ] ≥ ( E [ X ] ) 2 V a r ( X ) = E [ X 2 ] − ( E [ X ] ) 2 ≥ 0 \mathrm{Var}(X) = E[X^2] - (E[X])^2 \ge 0 Var ( X ) = E [ X 2 ] − ( E [ X ] ) 2 ≥ 0 g ( x ) = log x g(x) = \log x g ( x ) = log x E [ log X ] ≤ log E [ X ] E[\log X] \le \log E[X] E [ log X ] ≤ log E [ X ] 算術平均 以下という不等式の確率論版です。Jensen の不等式の詳細は Wikipedia「イェンセンの不等式」 を参照してください。
「期待値 の線形性が利く範囲」は g ( x ) = a x + b g(x) = ax + b g ( x ) = a x + b E [ g ( X ) ] ≠ g ( E [ X ] ) E[g(X)] \ne g(E[X]) E [ g ( X )] = g ( E [ X ])
「独立 じゃないと和の期待値 が分解できない」は誤りです。 追加の仮定が要るのは 積の期待値 E [ X Y ] = E [ X ] E [ Y ] E[XY] = E[X]E[Y] E [ X Y ] = E [ X ] E [ Y ] 独立性 はその十分条件です）。和の期待値 E [ X + Y ] = E [ X ] + E [ Y ] E[X+Y] = E[X]+E[Y] E [ X + Y ] = E [ X ] + E [ Y ] 「E [ g ( X ) ] = g ( E [ X ] ) E[g(X)] = g(E[X]) E [ g ( X )] = g ( E [ X ]) 一般の関数 g g g g ( x ) = a x + b g(x) = ax + b g ( x ) = a x + b
算術平均 : 標本の線形性として a X + b ‾ = a X ˉ + b \overline{aX+b} = a\bar{X}+b a X + b = a X ˉ + b 中心傾向 : 期待値 は確率分布における中心傾向 の指標です