周辺確率

周辺確率（$P(B)$）とは、2 変数の同時分布から一方の変数を足し合わせて消したあとに残る、$B$ 単独の起こりやすさです。

定義

2 つの事象 $A$ と $B$ を同時に考えるとき、「$A$ と $B$ がともに起きる確率」$P(A \cap B)$ を同時確率と呼びます。$A$ が何の値をとっても、とにかく $B$ が起きる確率を知りたい場合、$A$ がとりうるすべての値について $P(A \cap B)$ を足し合わせます。この操作で $A$ が消え、$B$ だけの確率 $P(B)$ が残ります。

「周辺」という名前は、クロス集計表の構造に由来します。$A$（行方向）と $B$（列方向）を掛け合わせた表を作ると、各セルに同時確率 $P(A \cap B)$ が並びます。行方向に足し合わせると列の端（縁、margin）に $P(B)$ が並び、列方向に足し合わせると行の端に $P(A)$ が並びます。表の中身を行方向・列方向に足したときに表の縁（margin）に出てくる数字が周辺確率です。

数式で書くと、離散の場合と連続の場合でそれぞれ次のようになります。

離散の場合（$A$ がとりうる値すべてについて和をとる）:

連続の場合（$A$ 方向に積分する）:

ここから先は $A, B$ を実数値をとる確率変数として読み替えます（離散の場合の「事象」とは別の扱いです）。

記号の意味を整理します。$A, B$ は離散の文脈では事象（起こりうる出来事の集合）、連続の文脈では実数値をとる確率変数です。$\cap$ は「$A$ と $B$ がともに起きる」ことを表す集合の交わり（「キャップ」と読みます）、$\sum_A$ は $A$ がとりうるすべての値について足し合わせる操作、$f(A, B)$ は連続確率変数の同時密度関数（同時確率を面積で表したときの「高さ」に相当）です。連続分布での $\int f(A, B) \, dA$ は、$A$ 方向に積分して「$B$ 軸に投影した影」を作る操作として読めます。

性質

周辺確率には以下の性質があります。

• 全確率の和は 1: $\sum_B P(B) = 1$。同時確率 $P(A \cap B)$ を全 $(A, B)$ について足すと 1 になり、$B$ について先に足してから $A$ について足しても同様に 1 になります。
• 全確率の公式と等価: 定義 $P(B) = \sum_A P(A \cap B)$ に乗法公式 $P(A \cap B) = P(B \mid A) P(A)$ を代入すると $P(B) = \sum_A P(B \mid A) P(A)$ が得られます。条件付き確率と事前確率が手元にあれば計算できます。
• ベイズの定理の分母: $P(A \mid B) = P(B \mid A) P(A) / P(B)$ の分母 $P(B)$ は事後確率を $[0, 1]$ に正規化する役割を担います。ベイズ統計・機械学習の文脈では evidence（証拠の総量）とも呼ばれます。
• 周辺化は情報損失を伴う: 同時分布 $P(A, B)$ から周辺分布 $P(B)$ を作る操作は不可逆です。$A$ と $B$ の関係（独立かどうか、相関の構造）は周辺化によって失われます。

視覚的に見る

1 枚目のコインは偏りあり（表が出る確率 $P(A = \text{表}) = 0.7$）、2 枚目は公正（$P(B = \text{表}) = 0.5$）とします。2 枚のコインは互いに独立です。独立なので同時確率は $P(A, B) = P(A) \times P(B)$ と積に分解できます。4 つの組み合わせのそれぞれの同時確率は次の通りです。

この同時確率を 1×1 の正方形の面積比として表したものが以下の図です。横軸を $A$（1 枚目のコイン）、縦軸を $B$（2 枚目のコイン）に割り当て、各セルの幅・高さを確率に比例させています。

薄い青色でハイライトされた上半分（$B = \text{表}$ の横帯）の面積が周辺確率 $P(B = \text{表})$ です。横帯の中には $A = \text{表}$ と $A = \text{裏}$ の 2 つのセルが入っており、その面積の合計は $0.35 + 0.15 = 0.5$ です。「表が 0.7 の偏ったコインと一緒に投げても、公正なコインの表が出る確率は 0.5 のまま」という当たり前の事実を、面積の足し算として視覚化しています。クロス集計表の「合計」列・行が表の縁（margin）に並ぶのと同じ構造です。

実世界での使われ方

周辺確率は「複数の変数を測定したあと、ある特定の変数だけの確率を知りたい」場面で使われます。

• 公的統計の集計表: 総務省統計局「国勢調査」では、年齢階級 × 性別 × 都道府県の同時分布が公開されています。特定の年齢階級の全国総数（性別・地域を足し合わせた周辺度数）を求める集計が日常的に行われており、クロス集計表の「合計」列・行がそのまま周辺度数です。それを総数で割ると $P(\text{その年齢階級})$ という周辺確率になります。同時分布の表を持っていれば、どの変数の組み合わせについても周辺確率を計算できます。つまり「性別の内訳は問わず、25〜34 歳が全人口の何割か」という問いに答える操作が、そのまま周辺化です。

• 医療検査のベイズ的解釈: 「検査結果が陽性になる確率」$P(\text{陽性})$ は、ベイズの定理 $P(\text{病気} \mid \text{陽性}) = P(\text{陽性} \mid \text{病気}) P(\text{病気}) / P(\text{陽性})$ の分母として現れる周辺確率です。厚生労働省「がん検診の有効性評価」では各検診の陽性率（周辺確率）が有効性指標として算出されています。「病気であっても陽性になる確率（感度）」と「病気でなくても陽性になる確率（1 - 特異度）」を、それぞれ罹患率の重み付きで足し合わせると陽性の周辺確率が求まります。この $P(\text{陽性})$ を計算できないと、検査結果から実際に病気かどうかを推定する確率（陽性的中率）が出せません。

• 機械学習のモデル選択: ベイズ統計でモデル $M$ の良さを評価する指標として、周辺尤度 $p(D \mid M) = \int p(D \mid \theta, M) \, p(\theta \mid M) \, d\theta$ が使われます。ここで $D$ は観測データ、$\theta$ はモデルのパラメータです。パラメータ $\theta$ を積分消去（周辺化）することで、特定のパラメータ値に依存しない「モデル全体のデータへの当てはまり」を測れます。2 つのモデル $M_1, M_2$ の周辺尤度の比 $p(D \mid M_1) / p(D \mid M_2)$ が Bayes factor で、モデル比較の定量的な根拠になります。Bayes factor が 10 を超えると $M_1$ の強い証拠と解釈される経験則があり、パラメータ推定とモデル選択を区別するベイズ流の基準です。

深掘り

以下の全確率の公式の導出は、確率変数の扱いに慣れた読者向けです。周辺確率の使い方には影響しません。

全確率の公式の導出

全確率の公式 $P(B) = \sum_A P(B \mid A) P(A)$ は定義式から 1 ステップで得られます。定義 $P(B) = \sum_A P(A \cap B)$ に、乗法公式 $P(A \cap B) = P(B \mid A) P(A)$ を代入するだけです。

右辺の読み方は「$A$ がどの値をとるかで $B$ の起こり方が変わる（$P(B \mid A)$）。それを $A$ の事前分布 $P(A)$ で重み付きで平均する」です。$A$ を隠れた原因、$B$ を観測結果と読めば、$P(B)$ は「すべての原因にわたって観測結果を平均化したもの」になります。医療検査の例では、隠れた原因が「病気か否か」で、観測結果が「検査の陽性・陰性」です。

周辺尤度とモデル選択

ベイズ統計では、モデル $M$ のもとで観測データ $D$ が得られる確率を周辺尤度（marginal likelihood）または evidence と呼びます。

$p(D \mid \theta, M)$ は「モデル $M$ のパラメータが $\theta$ のときにデータ $D$ が出る尤度」、$p(\theta \mid M)$ はパラメータの事前分布です。積分でパラメータ $\theta$ を消すと、特定のパラメータ値に依存しない「モデル $M$ がデータ全体をどれだけうまく説明するか」の指標が得られます。

最尤推定では「パラメータをデータに合わせて最大化」するため、パラメータ数が増えるほど尤度は上がり続けます（過学習）。周辺尤度は事前分布で平均しているので、複雑すぎるモデルは事前分布の広い領域でデータとの一致が下がり、自動的にモデルの複雑さにペナルティが入ります。これが Bayes factor $p(D \mid M_1) / p(D \mid M_2)$ によるモデル選択の仕組みです。

機械学習における ELBO との接続

周辺尤度 $\log p(D)$ の積分は多くの場合、解析的に計算できません。変分推論では、任意の分布 $q(\theta)$ に対して以下の不等式が成り立ちます。

右辺を ELBO（Evidence Lower BOund、変分下界とも呼ばれます）と言います。ELBO の E は Evidence、すなわち本エントリの周辺確率 $p(D)$ そのものです。ELBO を最大化する $q(\theta)$ を見つけることが、周辺尤度の近似計算になります。変分オートエンコーダ（VAE）の学習目標として直接登場し、深層生成モデルの基礎にある考え方です。

関連する用語

• 条件付き確率: 周辺確率を分母に持つ確率。$P(A \mid B) = P(A \cap B) / P(B)$
• ベイズの定理: 分母が周辺確率（evidence）になる定理
• 独立性: 独立性のもとでは $P(A \cap B) = P(A) P(B)$ で同時確率が周辺確率の積に分解される
• 期待値: 全確率の公式 $P(B) = \sum_A P(B \mid A) P(A)$ は $P(B \mid A)$ の $A$ に関する期待値として読める
• 指示変数: 周辺確率は指示変数の期待値として書ける（$P(B) = E[\mathbf{1}_B]$）

詳しくは

• stats-07: 条件付き確率とベイズの定理: 周辺確率がベイズの定理の分母 (evidence) として登場する本編記事