独立性とは、2 つの事象 A A A , B B B について、B B B が起きたという情報を得ても A A A の確率が変わらない関係です。
定義
独立性(independence、統計的独立)は、2 つの事象 A A A , B B B に対して次の積形式で定義します。
ここで A ∩ B A \cap B A ∩ B は「A A A と B B B がともに起きる」事象(積事象)、P ( A ) P(A) P ( A ) と P ( B ) P(B) P ( B ) はそれぞれの事象が起きる確率です。P ( B ) > 0 P(B) > 0 P ( B ) > 0 のとき、この定義は条件付き確率 (B B B が起きたと分かったときの A A A の確率)を使った形と同値になります。
この条件付き形式が独立性の意味を直接表しています。「B B B が起きた」という情報を受け取っても A A A の確率が P ( A ) P(A) P ( A ) のまま変わらない、つまり B B B の発生が A A A に関する情報を一切運ばないということです。独立を記号で書くとき A ⊥ B A \perp B A ⊥ B (「A A A は B B B と独立」と読む)と表記することもあります。
性質
独立性には次の性質があります。
対称性 : A A A が B B B と独立なら B B B も A A A と独立です。定義式 P ( A ∩ B ) = P ( A ) P ( B ) P(A \cap B) = P(A)P(B) P ( A ∩ B ) = P ( A ) P ( B ) が A A A と B B B について対称な形をしているので、どちらを「先」に考えても成り立ちます。
同時確率 が積で求まる : A A A と B B B が独立なら同時確率 を周辺確率 の積 P ( A ) P ( B ) P(A)P(B) P ( A ) P ( B ) で計算できます。ただし「積で求まる」という覚え方を先行させると核心(情報が運ばれない)を見失います。
情報が運ばれない : P ( A ∣ B ) = P ( A ) P(A \mid B) = P(A) P ( A ∣ B ) = P ( A ) なので、B B B が起きたと観測しても A A A の予測精度は変わりません。この性質が「複数の情報源を組み合わせる」場面で独立性を前提にする理由です。
排反 とは正反対の概念 : 排反 (A ∩ B = ∅ A \cap B = \emptyset A ∩ B = ∅ )は「一方が起きれば他方は絶対に起きない」という最強の情報伝達で、独立とは逆方向の関係です。P ( A ) > 0 P(A) > 0 P ( A ) > 0 かつ P ( B ) > 0 P(B) > 0 P ( B ) > 0 なら、排反 な 2 事象は必ず従属になります(P ( A ∩ B ) = 0 ≠ P ( A ) P ( B ) P(A \cap B) = 0 \ne P(A)P(B) P ( A ∩ B ) = 0 = P ( A ) P ( B ) )。
視覚的に見る
P ( A ) = 0.3 P(A) = 0.3 P ( A ) = 0.3 、P ( B ) = 0.4 P(B) = 0.4 P ( B ) = 0.4 の独立な 2 事象を 1×1 の矩形で表した図です。横軸を「B B B が起きたかどうか」で 2 つの縦帯に分け、縦軸を「A A A が起きたかどうか」で分割します。
独立性の矩形図:縦のどこで切っても上下比率が同じ B が起きた B が起きず A が起きた A が起きず 0.12 0.18 0.28 0.42 ← 上下比率 0.3:0.7 →
横軸の縦線(位置 0.4)が「B B B が起きた帯」と「B B B が起きない帯」の境界です。独立な状態では、左帯でも右帯でも上(A A A が起きた)と下(A A A が起きない)の比率がどちらも 0.3:0.7 で揃っています。左帯の面積 0.12 は P ( A ) P ( B ) = 0.3 × 0.4 P(A)P(B) = 0.3 \times 0.4 P ( A ) P ( B ) = 0.3 × 0.4 の値そのものです。縦の位置をどこで切っても「上下比率が変わらない」ことが、B B B の情報を得ても A A A の確率が動かないことを直接表しています。比率が左右でずれていれば従属で、B B B を観測することで A A A の予測精度が変わります。
実世界での使われ方
独立性の仮定は「複数の情報源を組み合わせて確率を更新する」場面で前提として現れます。
複数検査の組み合わせ : 医療現場では、最初の検査結果を踏まえて 2 回目・3 回目の検査を逐次実施し、ベイズの定理 で事後確率 を更新していく手法が使われます。この更新が正しく機能するのは「1 回目の検査結果が 2 回目の検査精度に影響しない」という独立性の仮定が成り立つときです。同じ試薬・同じ機序の検査を繰り返す場合、実際には相関が生じ得るため、独立性の仮定が診断精度の前提になります。
ファクター投資のシグナル統合 : 複数のファクターシグナル(モメンタム・バリュー・クオリティなど)を独立に観測したと仮定して事後確率 を更新するアプローチが実務で使われています。Black & Litterman (1991) "Asset Allocation: Combining Investor Views with Market Equilibrium"(Journal of Fixed Income) が提示したベイズ的ポートフォリオ最適化の枠組みは、シグナル間が弱い相関しか持たない(独立に近い)場合にシグナル統合の精度が保たれる構造になっています。シグナル間の相関が強くなると過信 (overconfidence) が生じ、期待リターンの見積もりが偏ります。
A/B テストの並行実施 : ウェブサービスで複数の A/B テストを同時に走らせるとき、ユーザーの割り当てが独立であれば各テストの効果を別々に推定できます。ユーザーのセグメントが重複したり割り当てに偏りがあったりすると独立性が崩れ、テスト間で効果の交絡(confounding)が起きます。複数テストの設計では「割り当て機構が独立性を保証しているか」が先決問題になります。
深掘り
3 事象以上の相互独立と対独立の区別は、つまずきやすい発展トピックです。2 事象の独立だけで十分なら飛ばせます。
3 事象以上の相互独立性と対独立性
3 つ以上の事象に独立性を拡張するとき、「対独立(pairwise independent)」と「相互独立(mutually independent)」の区別が生じます。
3 事象 A A A , B B B , C C C の対独立は、すべての 2 事象のペアが独立であることを要求します。
相互独立はこれに加えて 3 事象の同時確率 も積で書けることを要求します。
4 事象以上でも同様に、すべての部分集合で積の形式が成り立つことが相互独立の条件です。対独立でありながら相互独立でない例があります。コイン 2 枚を独立に投げて A A A 「1 枚目が表」、B B B 「2 枚目が表」、C C C 「2 枚の結果が一致(両表か両裏)」とすると、A A A と B B B 、A A A と C C C 、B B B と C C C はそれぞれ独立(P ( A ) P ( B ) = 1 / 4 = P ( A ∩ B ) P(A)P(B) = 1/4 = P(A \cap B) P ( A ) P ( B ) = 1/4 = P ( A ∩ B ) など)ですが、P ( A ∩ B ∩ C ) = P ( 両表 ) = 1 / 4 P(A \cap B \cap C) = P(\text{両表}) = 1/4 P ( A ∩ B ∩ C ) = P ( 両表 ) = 1/4 に対して P ( A ) P ( B ) P ( C ) = 1 / 2 ⋅ 1 / 2 ⋅ 1 / 2 = 1 / 8 P(A)P(B)P(C) = 1/2 \cdot 1/2 \cdot 1/2 = 1/8 P ( A ) P ( B ) P ( C ) = 1/2 ⋅ 1/2 ⋅ 1/2 = 1/8 が成り立たず、相互独立ではありません。
C C C が起きたという条件の下で A A A と B B B が独立になる関係を条件付き独立 と呼び、次のように定義します。
ベイジアンネットワーク(確率グラフィカルモデル)では条件付き独立性 が構造の基礎になっています。「C C C が A A A と B B B の共通原因であれば、C C C を観測した後で A A A と B B B は独立になる」という関係が因果推論で頻繁に登場します。注意が必要なのは、周辺独立 A ⊥ B A \perp B A ⊥ B (C C C の情報なしでの独立)と条件付き独立 A ⊥ B ∣ C A \perp B \mid C A ⊥ B ∣ C (C C C を条件付けた後での独立)は独立した概念であることです。一方が成り立っても他方が成り立つとは限りません。
独立性と無相関の片方向関係
確率変数 X X X と Y Y Y が独立ならば共分散はゼロ、つまり無相関になります。
独立性の定義 P ( X ∈ A , Y ∈ B ) = P ( X ∈ A ) P ( Y ∈ B ) P(X \in A, Y \in B) = P(X \in A)P(Y \in B) P ( X ∈ A , Y ∈ B ) = P ( X ∈ A ) P ( Y ∈ B ) から E [ X Y ] = E [ X ] E [ Y ] E[XY] = E[X]E[Y] E [ X Y ] = E [ X ] E [ Y ] が導かれるため、この片方向は常に成立します。逆方向(無相関ならば独立)は一般には成り立ちません。X ∼ U ( − 1 , 1 ) X \sim U(-1, 1) X ∼ U ( − 1 , 1 ) (− 1 -1 − 1 から 1 1 1 の一様分布)と Y = X 2 Y = X^2 Y = X 2 は C o v ( X , Y ) = E [ X ⋅ X 2 ] − E [ X ] E [ X 2 ] = E [ X 3 ] − 0 = 0 \mathrm{Cov}(X, Y) = E[X \cdot X^2] - E[X]E[X^2] = E[X^3] - 0 = 0 Cov ( X , Y ) = E [ X ⋅ X 2 ] − E [ X ] E [ X 2 ] = E [ X 3 ] − 0 = 0 で無相関ですが、Y Y Y は X X X の関数なので独立ではありません。二変量正規分布の場合に限り「無相関」と「独立」が同値になります。
測度論的な定義(簡潔に)
測度論では独立性をより一般的な形で定義します。2 つの σ \sigma σ 加法族 F A \mathcal{F}_A F A 、F B \mathcal{F}_B F B について、任意の E ∈ F A E \in \mathcal{F}_A E ∈ F A と F ∈ F B F \in \mathcal{F}_B F ∈ F B に対して P ( E ∩ F ) = P ( E ) P ( F ) P(E \cap F) = P(E)P(F) P ( E ∩ F ) = P ( E ) P ( F ) が成り立つとき、F A \mathcal{F}_A F A と F B \mathcal{F}_B F B が独立であると定義します。事象の独立性はこの枠組みの特殊ケースで、確率変数 X X X と Y Y Y の独立性は X X X と Y Y Y が生成する σ \sigma σ 加法族の独立性として一般化されます。
よくある誤解
初学者が陥りやすい誤解が 2 つあります。
「独立 = 排反 」の混同 : 「独立した検査」「独立な施行」という日常語の「独立」から「互いに関係がない、起きても起きなくても関係ない」と理解して排反 性と混同するケースがあります。排反 (A ∩ B = ∅ A \cap B = \emptyset A ∩ B = ∅ )は「A A A が起きたら B B B は絶対に起きない」という情報の最強伝達で、独立とは正反対です。P ( A ) > 0 P(A) > 0 P ( A ) > 0 かつ P ( B ) > 0 P(B) > 0 P ( B ) > 0 のとき、排反 な 2 事象は P ( A ∩ B ) = 0 P(A \cap B) = 0 P ( A ∩ B ) = 0 ですが P ( A ) P ( B ) > 0 P(A)P(B) > 0 P ( A ) P ( B ) > 0 なので必ず従属になります。
「対独立ならば相互独立」の誤解 : すべての 2 事象の組が独立であっても、3 事象の同時確率 が積の形にならないことがあります。上の反例(コイン 2 枚のケース)が示すように、対独立は相互独立より弱い条件です。
関連する用語
条件付き確率 — 独立性は条件付き確率 P ( A ∣ B ) = P ( A ) P(A \mid B) = P(A) P ( A ∣ B ) = P ( A ) として定義される
排反事象 — 独立と混同されやすい対概念。最強の負の従属
確率変数 — 事象の独立性は確率変数 の独立性に一般化される
期待値の線形性 — 独立を仮定しなくても成り立つ(独立性が不要な例として)
詳しくは
stats-07: 条件付き確率とベイズの面積 — 矩形分割で「縦のどこで切っても比率が同じ」状態を独立として読む