全確率の公式とは、ある事象の確率を、原因ごとの条件付き確率と事前確率の重み付き和で計算する公式です。
定義
全確率の公式を使うには、まず標本空間 (起こりうるすべての結果の集合)を、互いに「重ならない」かつ「合わせると全体を覆う」事象の列 で分割する必要があります。この条件を完全分割(partition)と呼びます。完全分割には 2 つの要件があります。排反性(どの 2 つも同時に起こらない)と、網羅性(いずれかは必ず起こる)の両方が必要で、片方だけでは公式は成り立ちません。
完全分割が確認できたとき、任意の事象 の確率は次式で計算できます。
ここで、 は「原因 がそもそも起こる確率」(事前確率)、 は「原因 のもとで結果 が起こる条件付き確率」、 は和記号(すべての原因について足し合わせる操作)です。
実務でよく使われる 2 事象版(原因が と の 2 種類)は次の形になります。
は の余事象( が起こらない場合)です。また、 が連続確率変数で密度関数 を持つ場合は、和が積分に変わります。
これは離散版の「原因ごとに分けて足す」操作を、原因を無限に細かく区切った極限として書き換えたものです。
性質
- 事前確率で重みづけた条件付き確率の平均: に「原因 の起こりやすさ 」を掛けて足すので、事前確率が大きな原因の寄与が大きくなる
- 完全分割でないと成立しない: 排反性のみ(重ならないが全体を覆わない)では、 が起こる経路を見落とす。網羅性のみ(全体を覆うが重なりがある)では、同じ場合を 2 度足してしまう。2 つの要件が同時に満たされないと等号は成立しない
- 同時確率の「周辺化」そのもの: という関係は「同時確率を の軸で足し上げて の周辺確率を得る」操作。機械学習文脈では「sum rule」と呼ばれる
- ベイズの定理の分母を作る: ベイズの定理 の分母 の標準的な計算手段は全確率の公式であり、 を「展開して計算可能にする」役割を果たす
視覚的に見る
の正方形で全体(確率 1.0)を表し、縦軸で (病気あり)と (病気なし)に分割します。 なので左帯の横幅が 、右帯が です。各帯をさらに (検査陽性)と (検査陰性)に横分割すると 4 つのセルが現れます。全確率の公式は「青い セルの面積を 2 枚足す」操作です。
青い 2 セル(病気&陽性、健康&陽性)が「検査陽性 」の全体面積です。左の青セルは「病気帯の横幅 」×「感度 」= 、右の青セルは「健康帯の横幅 」×「偽陽性率 」= です。これを足すと 。この計算がまさに全確率の公式 の形です。
各セルの面積は「事前確率 (帯の横幅)」×「条件付き確率 (帯内での陽性の割合)」の積です。 ごとの「帯」に分けて面積を計算し、最後に が占める帯を集計する。この縦帯分解が全確率の公式の幾何的な意味です。
実世界での使われ方
医療検査の陽性率計算では、集団全体での検査陽性率を有病率・感度・偽陽性率から計算する標準手順に全確率の公式が使われています。有病率()を事前確率、感度(病気があって陽性になる確率)と偽陽性率(病気がないのに陽性になる確率)を条件付き確率として代入します。厚生労働省の新型コロナウイルス感染症に関する検査での陽性率の解釈も、この構造を暗黙に使っています。有病率が低い局面では の項(健康者の偽陽性)が を大きく引き上げるため、陽性率だけで病気の確率を判断できない理由がここから出てきます。
機械学習の周辺尤度(evidence)の計算にも全確率の公式が直接登場します。ベイズ的モデル選択では の形で周辺尤度を計算します。これは連続版の全確率の公式であり、パラメータ のすべての可能性で「データの生成確率×パラメータの事前分布」を足し上げる操作です。Bishop『パターン認識と機械学習』第 1 章では sum rule として位置づけており(Cambridge University Press 公式ページ)、モデル間の比較(ベイズ因子)の分母を構成するために計算します。scikit-learn の ナイーブベイズ実装(sklearn.naive_bayes) も内部でこの周辺化を行っており、クラス事前確率 と条件付き尤度 の積和で予測確率を正規化しています。
隠れマルコフモデル(HMM)とカルマンフィルタでは、観測データの周辺尤度を計算するときに隠れ状態 のすべての可能性で足し上げる操作が必要になります。音声認識では音素の状態列(隠れ状態)を、観測された音声フレームから推定しますが、その途中で の形の周辺化が不可欠です。国立情報学研究所(NII)の音声研究でも HMM の forward アルゴリズムとして実装されており、各ステップが全確率の公式の繰り返し適用です。
金融の信用リスク管理では、ポートフォリオ全体のデフォルト確率を「マクロシナリオ」ごとの条件付きデフォルト率とシナリオ確率の重み付き和で計算します。景気後退シナリオ・ベースシナリオ・好況シナリオを として完全分割し、各シナリオ下でのデフォルト率 をシナリオ確率 で重みづけして合算します。BIS(国際決済銀行)の信用リスク計測フレームワーク文書(BCBS d307)でも同じ構造が期待損失(EL)計算の基礎として示されており、シナリオ分析とポートフォリオ管理の土台になっています。
深掘り
周辺化の一般原理
全確率の公式は、同時確率から周辺確率を得る操作の最も基本的な形です。確率変数 と を考えると、 となる周辺確率は次のように書けます。
これは「 という変数を消去して だけの分布を得る」操作で、周辺化(marginalization)と呼ばれます。機械学習文脈で「sum rule」と呼ばれているのと同じ操作です。関心のない変数(ここでは )を確率の重み で足し上げることで、その変数が存在しないかのように振る舞う周辺分布を得ます。連続版では sum が integral に変わるだけで、構造は同じです。
ベイズの定理の分母としての役割
ベイズの定理を使って「検査陽性なら病気の確率は?」を計算するとき、分母に全確率の公式が登場します。
分母 を全確率の公式で展開すると、「分子の を全体 で割る」という正規化の操作になります。この は正規化定数、ベイズ的文脈では周辺尤度(marginal likelihood)またはevidence とも呼ばれます。 を計算しないと、ベイズの定理の右辺は確率として和が 1 にならないため、全確率の公式はベイズ計算において欠かせない計算要素です。
条件付き期待値の塔型公式への拡張
全確率の公式には期待値版があります。確率変数 の期待値 は、事象 を使って次のように分解できます。
これをさらに一般化すると、確率変数 で条件づけた条件付き期待値の「塔型公式」(law of total expectation)になります。
内側の は の値ごとに計算した条件付き期待値(これ自体が の関数)、外側の はそれを の分布で平均します。stats-18 で扱う条件付き期待値の核となる公式で、ファイナンスの動的計画法(Bellman 方程式)や確率制御の基礎でもあります。
関連する用語
- 条件付き確率。全確率の公式の構成要素
- 周辺確率。全確率の公式が計算する量そのもの
- ベイズの定理。分母 の展開で全確率の公式を使う
- 同時確率。全確率の公式は同時確率 の和として書ける
- 独立性。 と が独立なら となり公式は縮退する
- 排反事象。完全分割の前提条件の一つ(排反性)
この用語を扱う本編記事
- stats-07: 条件付き確率とベイズの面積。節 3 で「縦帯の面積」として視覚化し、節 4 でベイズの定理の分母 の展開として使います。
よくある誤解
「完全分割」の片方の要件だけを満たせば全確率の公式が使えると誤解するケースがあります。排反性のみ(重ならないが全体を覆わない)では、 が起こるルートの一部が のどれにも含まれないため、\sum_i P(B \cap A_i) < P(B) となって等号が成立しません。網羅性のみ(全体を覆うが重なりがある)では、重なり部分の を 2 回以上足してしまうため \sum_i P(B \cap A_i) > P(B) になります。排反性と網羅性の両方が揃って初めて等号が成立します。
もう一つの典型的な誤りは、 と事前確率を掛けずに条件付き確率を足す計算です。 と を足すと になりますが、これは を意味せず誤りです。条件付き確率は「原因が与えられたときの確率」であり、それぞれの原因の起こりやすさ で重みづけしてから足さないと、全体の確率にはなりません。