事後確率(posterior probability)とは、観測したデータを受け取った後の、ある事象が成り立つ条件付き確率です。
定義
事象 を観測した後に、事象 が成り立つ確率を と書き、これを「 を観測した条件での の事後確率」と呼びます。ここで は「 が起きたという前提のもとで が起きる確率」を意味します(縦棒 は「〜という条件のもとで」という読み方です)。
事後確率はベイズの定理によって計算されます。
記号の対応は次の通りです。 は観測前の の確率(事前確率)、 は のもとで が生じる確率(尤度)、 は が生じる全体の確率(周辺確率)です。「事後」は時系列の事後ではなく、観測の事後を指します。「検査結果が出た後」「データを受け取った後」という意味で、時間が経過したことを意味するのではありません。
と は全く異なる値です。「検査が陽性(B)のとき病気(A)である確率」 と、「病気(A)のとき検査が陽性(B)になる確率(感度)」 を混同すると、正しい事後確率は計算できません。
性質
事後確率には以下の性質があります。
- 3 つの入力から決まる: 事前確率 ・尤度 ・周辺確率 の 3 つが揃えば一意に決まります
- 観測による更新: 事前確率 に観測情報を組み込んだ結果が事後確率 です。同じ観測でも事前が変われば事後も変わります。有病率 1% の集団と有病率 10% の集団では、同じ検査で陽性が出ても事後確率は大きく異なります
- 基準率への依存: 有病率(事前確率)が低い集団では、検査が陽性でも事後確率は低くなります(後述の図で確認できます)。感度 90% の検査でも、有病率 1% なら陽性的中率は 9.2% にとどまります
- 比例関係: 。周辺確率 は仮説 の選び方によらない規格化定数なので、複数の仮説を比較するときは「事前 × 尤度」の比だけで事後確率の大小が決まります。たとえば「病気である」仮説と「健康である」仮説を比べるとき、分母の は両仮説に共通なので打ち消し合い、事後確率の比(事後オッズ)は事前確率の比 × 尤度比に等しくなります
- 逐次更新: 1 回目の観測 で得た事後確率 が、2 回目の観測 に対する事前確率になります。たとえば最初の検査で事前 0.01 → 事後 0.092 と更新した後、2 回目の検査では 0.092 を新たな事前として使い直します。3 回、4 回と観測を積み重ねるたびに確率が精緻化されていく構造です
逐次更新の計算例として、有病率 1% の集団で同じ検査を 2 回連続して陽性を受けた場合、1 回目の事後確率 9.2% を 2 回目の事前確率として用いると、事後確率は
となり、2 回陽性で約 50% に達します。観測を積み重ねるほど確率が急速に更新される構造は、1 回目の更新幅(1% → 9.2%)より 2 回目の更新幅(9.2% → 50%)が大きいことからも確認できます。
視覚的に見る
有病率 1%・感度 90%・特異度 91% の検査シナリオにおいて、陽性を受け取った前後の確率の変化を横棒図で示します。
横軸は確率(0 から 0.15)、上の棒が観測前の事前確率(0.01)、下の棒が陽性を受け取った後の事後確率(0.092)です。観測 1 回で確率が約 9 倍に伸びています。それでも 9.2% にとどまるのは、有病率 1% という事前確率が低いためです。1,000 人に検査すると陽性は約 98 人ですが、そのうち本当に病気なのは 9 人だけ、という計算が背後にあります。
感度 90% という高い値でも、有病率が 1% なら陽性の大半は偽陽性です。検査精度より有病率(事前確率)が事後確率を左右します。高リスク群に絞って検査する「ターゲティング」が有効なのは、この分母の構造が原因です。
実世界での使われ方
事後確率は観測から判断を引き出す場面に広く登場します。
医療診断は事後確率の典型的な応用です。検査の感度・特異度と有病率から陽性的中率(PPV)を計算します。厚生労働省のがん検診の精度管理に関する情報では、検診の感度・特異度が公表されており、有病率との組み合わせで PPV を算出できます。
有病率 1% の一般集団では 1,000 人を検査すると陽性は約 98 人ですが、真陽性は 9 人だけで PPV は 9.2% にとどまります。同じ感度・特異度の検査を有病率 10% の高リスク群に適用すると PPV は 50% を超えます。
年齢・家族歴などのスクリーニングは事前確率を引き上げる操作です。これが対象を絞ることで検診の実質的な有用性を高める根拠になります。乳がん検診の陽性的中率が数 % にとどまる現象も、一般集団の有病率が低い(事前確率が低い)ことで説明できます。
迷惑メール判定では、Paul Graham が 2002 年に発表した "A Plan for Spam" が普及させたベイジアン・スパムフィルタが事後確率を計算します。各単語が出現する尤度から「このメールがスパムである事後確率」を算出し、単語ごとの尤度を逐次的に掛け合わせることで観測のたびに確率を更新します。「無料」「当選」のような単語が出るたびにスパム事後確率が段階的に上がり、しきい値を超えたメールを隔離します。
学習データが蓄積されると事前確率(スパム率の基底推定)が精緻化され、フィルタの検出精度も上がります。最初はスパム率 30% という事前確率からスタートしても、数千通の学習後には受信ドメインや時間帯ごとの事前確率が調整されます。
金融(Black-Litterman モデル)では、Goldman Sachs の Black と Litterman が 1990 年に発表した資産配分モデルが事後分布を活用します。市場均衡リターンを事前分布、アナリストの超過リターン見通しを尤度として事後リターン分布を導きます。事後リターンは事前(市場全体の集合知)とアナリスト見解(局所情報)の加重平均になり、見解の確信度(尤度の分散)が大きいほど事後は市場均衡に近く残ります。
確信度の低い見通しを無理に採用せず市場均衡に引き戻す動作が、従来の平均分散最適化で生じる「角解(コーナーソリューション)」問題を緩和します。CFA Institute のポートフォリオリスクとリターンに関するリフレッシャーリーディングでもベイズ的なアプローチとして実務的位置づけが解説されています。
機械学習では、ナイーブベイズ分類器・ベイジアンネットワーク・ベイズ最適化の中核演算が事後確率の計算です。ナイーブベイズ分類器では各単語の出現が条件付き独立と仮定し、単語ごとの尤度を積算することで文書がスパムや特定カテゴリである事後確率を算出します。ベイズ最適化ではブラックボックス関数 の形状の事後分布を観測のたびに更新しながら、評価すべき の候補を絞り込んでいきます。
テキスト分類・推薦システム・ハイパーパラメータ探索など、実用システムの各所に埋め込まれています。ディープラーニングのハイパーパラメータ探索では、グリッドサーチが必要とする数百回の試行をベイズ最適化で数十回に削減した事例が複数報告されています。
4 つの応用に共通するのは、観測前の確率(事前確率)を保持し、新しい情報(尤度)を受け取るたびに確率を更新するという構造です。医療では有病率が事前確率に相当し、スパムフィルタでは過去の学習済みスパム率が事前確率にあたります。金融では市場全体の均衡リターンが事前分布を形成し、機械学習では初期化されたモデル重みの分布が事前分布に相当します。
事前確率の出どころは分野ごとに異なりますが、ベイズ更新という操作の構造は共通しています。観測のたびに確率が更新され、積み重ねるほど推定が精緻化されていく点も、4 分野で一貫しています。
深掘り
MAP 推定は L2〜L3 の発展トピックで、事後確率の定義を理解するだけなら必須ではありません。
MAP 推定(事後確率最大化)
連続パラメータ の推定問題では、観測データ を受け取ったあとの事後分布 が定義されます。
ここで は事前分布、 は尤度、積分の分母は規格化定数(周辺確率)です。この事後分布を最大にするパラメータ値を点推定として採るのが MAP 推定(最大事後確率推定)です。
MAP と最尤推定(MLE)の違いは事前分布 の有無だけです。事前分布として正規分布 を置くと、MAP 推定は L2 正則化付き最小二乗回帰(Ridge 回帰)と数学的に等価になります。Ridge の正則化係数はこの事前分布の精度に対応します。
Bayes 推定量(事後平均・事後中央値)
事後分布を 1 点に要約する方法は MAP(事後最頻値)だけではありません。損失関数の選び方によって最適な推定量が変わります。
二乗損失 のもとで期待損失を最小化する推定量は事後平均 です。絶対損失 のもとでは事後中央値が最適な推定量になります。これに対して MAP は 0-1 損失(正解なら 0 損失、不正解なら 1 損失)に対応する特殊ケースです。分布が対称なら 3 つは一致しますが、右歪みや多峰性の事後分布では大きく食い違います。予測精度の指標として何を最小化したいかを先に決め、そこから推定量を選ぶのが Bayes 統計の立場です。
信用区間 vs 信頼区間
名前が似ていますが、全く異なる概念です。
信用区間(credible interval)は事後分布から直接計算される区間です。「95% 信用区間」は「パラメータ がこの区間に入る事後確率が 95% である」と直接言えます。計算は単純で、事後分布の下位 2.5% 点から上位 97.5% 点を取るだけです。日本語では「確信区間」や「信任区間」とも呼ばれますが、「信用区間」が現在の統計文献で多く使われる訳語です。
信頼区間(confidence interval)は頻度主義の概念です。「95% 信頼区間」が意味するのは「この手続きで区間を 100 回構成したとき、そのうち 95 回は真の値を含む」ということです。1 つの特定の区間について「95% の確率で真値が含まれる」とは言えません。真値は固定された定数であり、確率的に動かないからです。
事後確率の文脈では信用区間が自然な概念です。「陽性後に病気である確率が 9.2%」というのは事後確率であり、信用区間の思想と整合します。一方、従来の仮説検定と信頼区間は頻度主義に基づき、「この試験の感度は 95% 信頼区間で 88〜96%」のように検査特性を記述するときに使います。
信用区間: 「パラメータがこの区間に入る確率が 95%」と言える。
信頼区間: 「この手続きを繰り返すと 95% の区間が真値を含む」にとどまり、特定の 1 区間への確率的主張はできない。
関連する用語
- 事前確率: 観測前の確率。事後確率と対をなします
- 条件付き確率: の上位概念。事後確率はその特殊なケースです
- 尤度: 。事後確率の分子に現れる値です
- 周辺確率: 。事後確率の分母に現れる規格化定数です
詳しくは
- stats-07: 条件付き確率とベイズの定理: 有病率 1%・感度 90%・特異度 91% の具体例を使って、1×1 矩形の分割として事前確率・尤度・事後確率を一から導く本編記事です
よくある誤解
- 事後確率は「仮説が正しい確率」ではなく「観測条件下での仮説の確率」です。事後確率が 90% でも、その仮説が真であるとは直接言えません
- 事後確率が高いことと、その仮説が真であることは別の問題です。事後確率は情報を取り込んだ最良の推測であり、真偽の証明ではありません
- 「事後」は時系列の事後ではなく、観測の事後を指します。「データを受け取る前(事前)とデータを受け取った後(事後)」という操作の前後です