【確率分布】２変量正規分布と多変量正規分布

1 ２変量正規分布とは
2 ２変量正規分布の例
3 確率密度関数
4 周辺分布と期待値・分散の導出
5 共分散とその導出
6 条件付き分布と条件付き期待値・分散の導出
7 モーメント母関数とその導出
8 多変量正規分布への一般化
9 まとめ

２変量正規分布とは

２変量正規分布は、二つの確率変数が同時に従う確率分布の一種です。この分布は、二次元の正規分布とも呼ばれ、各確率変数が正規分布に従うだけでなく、それらの間に相関がある場合に用いられます。２つの確率変数の確率ベクトル $\boldsymbol{X} = (X_1, X_2)^\top$ の平均ベクトル $\boldsymbol{\mu}$ および分散共分散行列 $\Sigma$ として $N_2(\boldsymbol{\mu}, \Sigma)$ と表します。平均ベクトル $\boldsymbol{\mu}$ と分散共分散行列 $\Sigma$ は、

$\begin{align*}
\boldsymbol{\mu} = (\mu_1, \mu_2)^\top, \quad
\Sigma = \begin{pmatrix}
\sigma_{1}^2 & \rho\sigma_{1}\sigma_{2}\\
\rho\sigma_{1}\sigma_{2} & \sigma_{2}^2
\end{pmatrix}
\end{align*}$

であり、$\rho$ は $X_1$ と $X_2$ の相関係数を表します。

$\mu_1 = \mu_2 = 0$ 、$\sigma_1^2 = \sigma_2^2 = 1$ 、$\rho = 0$ の場合、２変量標準正規分布になります。

２変量正規分布の例

株価
異なる株式や資産のリターンの相関を分析する際に、二変量正規分布が利用されることがあります。例えば、二つの株式のリターンが正規分布に従い、それらが相関している場合、そのリターンの分布を二変量正規分布でモデル化することができます。このモデルは、リスク管理やポートフォリオの最適化において役立ちます。
身長と体重
生物統計学において、身長と体重の間の相関を分析するために二変量正規分布が使用されることがあります。これにより、特定の身長に対して予測される体重の分布をモデル化し、異常値の検出や健康リスクの評価に役立てることができます。

確率密度関数

２変量正規分布の確率密度関数は、以下のように表されます：

$\begin{align*}
f(x_1, x_2) &= \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left[-\frac{1}{2(1-\rho^2)}\left(\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2-2\rho\left(\frac{x_1-\mu_1}{\sigma_1}\right)\left(\frac{x_2-\mu_2}{\sigma_2}\right) + \left(\frac{x_2-\mu_2}{\sigma_2}\right)^2 \right) \right]
\end{align*}$

$\begin{align*}
-\infty < x_1, x_2 < \infty, \quad \sigma_1, \sigma_2 > 0
\end{align*}$

周辺分布と期待値・分散の導出

２変量標準正規分布の期待値と分散は、以下のように表されます：

$E[\boldsymbol{X}] = \boldsymbol{\mu}$

$V[\boldsymbol{X}] = \Sigma$

つまり $E[X_1] = \mu_1, E[X_2] = \mu_2, V[X_1] = \sigma_1^2, V[X_2] = \sigma_2^2$ です。

実際に $X_1$ の期待値と分散を導出するために、$X_1$ の周辺分布を求めます。周辺分布とは、多次元の確率分布において他の変数を無視した（周辺化した）分布を指します。今回は $X_1$ の分布に興味があるため、$X_2$ は無視したいです。$X_1$ の周辺分布を得るためには、確率密度関数を $X_2$ に関して積分して $X_1$ の周辺確率密度関数 $f_{X_1}(x_1)$ を求めます。

$\begin{align*}
& f_{X_1}(x_1) = \int_{-\infty}^{\infty}f(x_1, x_2)dx_2\\
&= \int_{-\infty}^{\infty}\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left[-\frac{1}{2(1-\rho^2)}\left(\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2-2\rho\left(\frac{x_1-\mu_1}{\sigma_1}\right)\left(\frac{x_2-\mu_2}{\sigma_2}\right) + \left(\frac{x_2-\mu_2}{\sigma_2}\right)^2 \right) \right]dx_2\\
&= \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\int_{-\infty}^{\infty}
\exp\left[-\frac{1}{2(1-\rho^2)}\left(\left(\frac{x_2-\mu_2}{\sigma_2}\right)^2-2\rho\left(\frac{x_2-\mu_2}{\sigma_2}\right)\left(\frac{x_1-\mu_1}{\sigma_1}\right) + \left(\frac{x_1-\mu_1}{\sigma_1}\right)^2 \right) \right]dx_2\\
&= \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\int_{-\infty}^{\infty}
\exp\left[-\frac{1}{2(1-\rho^2)}\left(\left(\left(\frac{x_2-\mu_2}{\sigma_2}\right)-\rho\left(\frac{x_1-\mu_1}{\sigma_1}\right)\right)^2-\rho^2\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2 + \left(\frac{x_1-\mu_1}{\sigma_1}\right)^2 \right)\right]dx_2\\
&= \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left(-\frac{1}{2(1-\rho^2)}(1-\rho^2)\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2\right)\int_{-\infty}^{\infty}
\exp\left[-\frac{1}{2(1-\rho^2)}\left(\left(\frac{x_2-\mu_2}{\sigma_2}\right)-\rho\left(\frac{x_1-\mu_1}{\sigma_1}\right)\right)^2\right]dx_2
\end{align*}$

ここで、$\begin{align*}\frac{x_2-\mu_2}{\sigma_2} = t\end{align*}$ と置換します。$dx_2 = \sigma_2 dt$ より、

$\begin{align*}
&= \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left(-\frac{1}{2(1-\rho^2)}(1-\rho^2)\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2\right)
\int_{-\infty}^{\infty}\exp\left[-\frac{1}{2(1-\rho^2)}\left(t-\rho\left(\frac{x_1-\mu_1}{\sigma_1}\right)\right)^2\right]\sigma_2 dt\\
&= \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left(-\frac{1}{2}\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2\right)\sigma_2\sqrt{2(1-\rho^2)\pi}\\
&= \frac{1}{\sqrt{2\pi}\sigma_1}\exp\left(-\frac{(x_1-\mu_1)^2}{2\sigma_1^2}\right)
\end{align*}$

これは正規分布の確率密度関数の形であることから、$X_1$ の周辺分布は正規分布 $N(\mu_1, \sigma_1^2)$ になることが分かりました。

２変量正規分布においては、確率変数の周辺分布は正規分布になります。

よって $E[X_1] = \mu_1, V[X_1] = \sigma_1^2$ となり、$X_2$ についても同様に計算すると $E[X_2] = \mu_2, V[X_2] = \sigma_2^2$ となります。

正規分布の期待値と分散の導出は、以下の記事でも解説しています。

共分散とその導出

$X_1$ と $X_2$ の共分散は、以下のように表されます：

$\begin{align*}
Cov(X_1, X_2) = \rho\sigma_{1}\sigma_{2}
\end{align*}$

実際に導出してみましょう。

$\begin{align*}u = \frac{x_1-\mu_1}{\sigma_1}, v = \frac{x_2-\mu_2}{\sigma_2}\end{align*}$ と置きます。$\begin{align*}\begin{vmatrix}\frac{\partial u}{\partial x_1} & \frac{\partial u}{\partial x_2} \\\frac{\partial v}{\partial x_1} & \frac{\partial v}{\partial x_2}\end{vmatrix} = \begin{vmatrix}\frac{1}{\sigma_1} & 0 \\0 & \frac{1}{\sigma_2}\end{vmatrix} = \frac{1}{\sigma_1 \sigma_2}\end{align*}$ なので、

$\begin{align*}
Cov(X_1, X_2) &= E[(X_1-\mu_1)(X_2-\mu_2)]\\
&= \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(x_1-\mu_1)(x_2-\mu_2)\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left[-\frac{1}{2(1-\rho^2)}\left(\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2-2\rho\left(\frac{x_1-\mu_1}{\sigma_1}\right)\left(\frac{x_2-\mu_2}{\sigma_2}\right) + \left(\frac{x_2-\mu_2}{\sigma_2}\right)^2 \right) \right]dx_1dx_2\\
&= \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\sigma_1 u\sigma_2 v\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left[-\frac{1}{2(1-\rho^2)}\left(u^2-2\rho uv + v^2 \right) \right]\sigma_1 \sigma_2 dudv\\
&= \sigma_1 \sigma_2 \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\frac{uv}{2\pi\sqrt{1-\rho^2}}\exp\left[-\frac{(u-\rho v)^2 + v^2(1-\rho^2)}{2(1-\rho^2)}\right]dudv\\
&= \sigma_1 \sigma_2 \int_{-\infty}^{\infty}v\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{v^2}{2}\right)dv \int_{-\infty}^{\infty}u\frac{1}{\sqrt{2\pi}\sqrt{1-\rho^2}}\exp\left(-\frac{(u-\rho v)^2}{2(1-\rho^2)}\right)du\\
&= \sigma_1 \sigma_2 \int_{-\infty}^{\infty}v\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{v^2}{2}\right)\rho v dv\\
&= \rho \sigma_1 \sigma_2 \int_{-\infty}^{\infty}v^2\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{v^2}{2}\right)dv\\
\end{align*}$

ここで $\begin{align*}\int_{-\infty}^{\infty}v^2\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{v^2}{2}\right)dv\end{align*}$ は標準正規分布の二次モーメント $E[V^2]$ なので１となり、

$\begin{align*}
&= \rho \sigma_1 \sigma_2
\end{align*}$

条件付き分布と条件付き期待値・分散の導出

条件付き期待値とは、ある確率変数が特定の値を取ったときの、興味がある確率変数の期待値を表します。例えば、$X_1 = x_1$ が与えられたときの $X_2$ の条件付き期待値は、$E[X_2 | X_1 = x_1]$ と書きます。条件付き分散も同様に考え、$V[X_2 | X_1 = x_1]$ と書きます。

２変量標準正規分布の条件付き期待値・分散は、以下のように表されます：

$\begin{align*}E[X_2|X_1 = x_1] = \mu_2 + \rho\frac{\sigma_2}{\sigma_1}(x_1-\mu_1)\end{align*}$

$\begin{align*}V[X_2|X_1 = x_1] = \sigma_2^2(1-\rho^2)\end{align*}$

実際に導出してみましょう。条件付き期待値・分散は条件付き確率密度関数を求めことで得られます。

条件付き確率密度関数とは、確率変数 $X_1$ を所与としたときの $X_2$ の確率密度関数であり、以下で与えられます。

$\begin{align*}
f_{X_2|X_1}(x_2|x_1) = \frac{f(x_1, x_2)}{f_{X_1}(x_1)}
\end{align*}$

$f_{X_1}(x_1)$ は $X_1$ の周辺確率密度関数であり、先ほど求めた

$\begin{align*}
f_{X_1}(x_1) = \frac{1}{\sqrt{2\pi}\sigma_1}\exp\left(-\frac{(x_1-\mu_1)^2}{2\sigma_1^2}\right)
\end{align*}$

がこれにあたります。

$X_2$ の条件付き確率密度関数を求めてみましょう。

$\begin{align*}
f_{X_2|X_1}(x_2|x_1) &= \frac{f(x_1, x_2)}{f_{X_1}(x_1)}\\
&= \frac{\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left[-\frac{1}{2(1-\rho^2)}\left(\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2-2\rho\left(\frac{x_1-\mu_1}{\sigma_1}\right)\left(\frac{x_2-\mu_2}{\sigma_2}\right) + \left(\frac{x_2-\mu_2}{\sigma_2}\right)^2 \right) \right]}
{\frac{1}{\sqrt{2\pi}\sigma_1}\exp\left(-\frac{(x_1-\mu_1)^2}{2\sigma_1^2}\right)}\\
&= \frac{1}{\sqrt{2\pi(1-\rho^2)}\sigma_2}\exp\left[-\frac{1}{2(1-\rho^2)}\left(\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2-2\rho\left(\frac{x_1-\mu_1}{\sigma_1}\right)\left(\frac{x_2-\mu_2}{\sigma_2}\right) + \left(\frac{x_2-\mu_2}{\sigma_2}\right)^2 \right) \right]
\exp\left(-\frac{(x_1-\mu_1)^2}{2\sigma_1^2}\right)^{-1}\\
&= \frac{1}{\sqrt{2\pi(1-\rho^2)}\sigma_2}\exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^2}\left((x_2-\mu_2)^2-2\rho\sigma_2(x_2-\mu_2)\left(\frac{x_1-\mu_1}{\sigma_1}\right) + \sigma_2^2\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2-(1-\rho^2)\sigma_2^2\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2\right)\right]\\
&= \frac{1}{\sqrt{2\pi(1-\rho^2)}\sigma_2}\exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^2}\left((x_2-\mu_2)^2-2\rho\sigma_2(x_2-\mu_2)\left(\frac{x_1-\mu_1}{\sigma_1}\right) + \rho^2\sigma_2^2\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2\right)\right]\\
&= \frac{1}{\sqrt{2\pi(1-\rho^2)}\sigma_2}\exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^2}\left((x_2-\mu_2)-\rho\sigma_2\left(\frac{x_1-\mu_1}{\sigma_1}\right)\right)^2\right]\\
&= \frac{1}{\sqrt{2\pi(1-\rho^2)}\sigma_2}\exp\left[-\frac{1}{2(1-\rho^2)\sigma_2^2}\left(x_2-\left(\mu_2 + \rho\frac{\sigma_2}{\sigma_1}(x_1-\mu_1)\right)\right)^2\right]\\
\end{align*}$

これは正規分布の確率密度関数の形であることから、$X_2$ の条件付き分布は $\begin{align*}
N\left(\mu_2 + \rho\frac{\sigma_2}{\sigma_1}(x_1-\mu_1), \sigma_2^2(1-\rho^2)\right)
\end{align*}$ になることが分かりました。よって、

$\begin{align*}E[X_2|X_1 = x_1] = \mu_2 + \rho\frac{\sigma_2}{\sigma_1}(x_1-\mu_1)\end{align*}$

$\begin{align*}V[X_2|X_1 = x_1] = \sigma_2^2(1-\rho^2)\end{align*}$

が求められました。

モーメント母関数とその導出

２変量標準正規分布のモーメント母関数は、以下のように表されます：

$\begin{align*}
M(\boldsymbol{t}) = E[e^{\boldsymbol{t}^{\top}\boldsymbol{X}}] = \exp\left(\boldsymbol{\mu}^\top\boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^\top\Sigma\boldsymbol{t}\right), \quad \boldsymbol{t} \in \mathbb{R}^2
\end{align*}$

ここで、$\boldsymbol{t} = (t_1, t_2)^\top$ です。

実際に導出してみましょう。

$\begin{align*}
M(t) &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{\boldsymbol{t}^{\top}\boldsymbol{X}}\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left[-\frac{1}{2(1-\rho^2)}\left(\left(\frac{x_1-\mu_1}{\sigma_1}\right)^2-2\rho\left(\frac{x_1-\mu_1}{\sigma_1}\right)\left(\frac{x_2-\mu_2}{\sigma_2}\right) + \left(\frac{x_2-\mu_2}{\sigma_2}\right)^2 \right) \right]dx_1dx_2
\end{align*}$

$\begin{align*}u = \frac{x_1-\mu_1}{\sigma_1},\ v = \frac{x_2-\mu_2}{\sigma_2}\end{align*}$ と置きます。$\begin{align*}\begin{vmatrix}\frac{\partial u}{\partial x_1} & \frac{\partial u}{\partial x_2} \\\frac{\partial v}{\partial x_1} & \frac{\partial v}{\partial x_2}\end{vmatrix} = \begin{vmatrix}\frac{1}{\sigma_1} & 0 \\0 & \frac{1}{\sigma_2}\end{vmatrix} = \frac{1}{\sigma_1 \sigma_2}\end{align*}$ なので、

$\begin{align*}
&= \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{t_1(\sigma_1 u + \mu_1)+t_2(\sigma_2 v + \mu_2)}\exp\left[-\frac{1}{2(1-\rho^2)}\left(u^2-2\rho uv + v^2 \right) \right]\sigma_1 \sigma_2 dudv\\
&= \frac{e^{t_1\mu_1 + t_2\mu_2}}{2\pi\sqrt{1-\rho^2}}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{t_1\sigma_1 u+t_2\sigma_2 v}\exp\left[-\frac{1}{2(1-\rho^2)}\left(u^2-2\rho uv + v^2 \right) \right]dudv\\
&= \frac{e^{t_1\mu_1 + t_2\mu_2}}{2\pi\sqrt{1-\rho^2}}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\exp\left[-\frac{1}{2(1-\rho^2)}\left(u^2-2\rho uv + v^2-2(1-\rho^2)t_1\sigma_1 u-2(1-\rho^2)t_2\sigma_2 v\right) \right]dudv\\
&= \frac{e^{t_1\mu_1 + t_2\mu_2}}{2\pi\sqrt{1-\rho^2}}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\exp\left[-\frac{1}{2(1-\rho^2)}\left((u-(\rho v + (1-\rho^2)t_1\sigma_1))^2-(\rho v + (1-\rho^2)t_1\sigma_1)^2 + v^2-2(1-\rho^2)t_2\sigma_2 v\right) \right]dudv\\
&= \frac{e^{t_1\mu_1 + t_2\mu_2}}{2\pi\sqrt{1-\rho^2}}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\exp\left[-\frac{1}{2(1-\rho^2)}\left((u-(\rho v + (1-\rho^2)t_1\sigma_1))^2 + (1-\rho^2)\{(v-(\rho t_1\sigma_1 + t_2\sigma_2))^2-2\rho t_1t_2\sigma_1\sigma_2-t_2^2\sigma_2^2-t_1^2\sigma_1^2\}\right) \right]dudv\\
&= \frac{e^{t_1\mu_1 + t_2\mu_2}}{2\pi\sqrt{1-\rho^2}}\int_{-\infty}^{\infty}\exp\left[-\frac{1}{2(1-\rho^2)}(1-\rho^2)\{(v-(\rho t_1\sigma_1 + t_2\sigma_2))^2-2\rho t_1t_2\sigma_1\sigma_2-t_2^2\sigma_2^2-t_1^2\sigma_1^2\}\right]dv\int_{-\infty}^{\infty}\exp\left[-\frac{1}{2(1-\rho^2)}(u-(\rho v + (1-\rho^2)t_1\sigma_1))^2 \right]du\\
&= \frac{e^{t_1\mu_1 + t_2\mu_2}}{2\pi\sqrt{1-\rho^2}}\int_{-\infty}^{\infty}\exp\left[-\frac{1}{2}\{(v-(\rho t_1\sigma_1 + t_2\sigma_2))^2-2\rho t_1t_2\sigma_1\sigma_2-t_2^2\sigma_2^2-t_1^2\sigma_1^2\}\right]dv\sqrt{2(1-\rho^2)\pi}\\
&= \frac{e^{t_1\mu_1 + t_2\mu_2 + \frac{1}{2}(2\rho t_1t_2\sigma_1\sigma_2 + t_2^2\sigma_2^2 + t_1^2\sigma_1^2)}}{2\pi\sqrt{1-\rho^2}}\sqrt{2(1-\rho^2)\pi}\int_{-\infty}^{\infty}\exp\left[-\frac{1}{2}(v-(\rho t_1\sigma_1 + t_2\sigma_2))^2\right]dv\\
&= \frac{e^{t_1\mu_1 + t_2\mu_2 + \frac{1}{2}(2\rho t_1t_2\sigma_1\sigma_2 + t_2^2\sigma_2^2 + t_1^2\sigma_1^2)}}{2\pi\sqrt{1-\rho^2}}\sqrt{2(1-\rho^2)\pi}\sqrt{2\pi}\\
&= e^{t_1\mu_1 + t_2\mu_2 + \frac{1}{2}(2\rho t_1t_2\sigma_1\sigma_2 + t_2^2\sigma_2^2 + t_1^2\sigma_1^2)}\\
&= \exp\left(\boldsymbol{\mu}^\top\boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^\top\Sigma\boldsymbol{t}\right)
\end{align*}$

多変量正規分布への一般化

ここまでは２変量正規分布を扱ってきましたが、より高次元の正規分布に一般化したものを多変量正規分布といい、$N_p(\boldsymbol{\mu}, \Sigma)$ で表します。確率ベクトル $\boldsymbol{X} = (X_1, \dots, X_p)^\top$ に関して、平均ベクトル $\boldsymbol{\mu}$ 、分散共分散行列 $\Sigma$ の多変量正規分布の確率密度関数は以下のように表されます。

$\begin{align*}
f(\boldsymbol{x}) = \frac{1}{(2\pi)^\frac{p}{2}(\det\Sigma)^\frac{1}{2} }\exp\left(-\frac{1}{2}(\boldsymbol{x-\mu})^\top\Sigma^{-1}(\boldsymbol{x-\mu})\right)
\end{align*}$

期待値や分散、モーメント母関数は２変量正規分布の形と同じになります。

まとめ

２変量正規分布は、二つの関連するデータを統計的に扱うための分布です。身近な例として、身長と体重、異なる金融商品のリターンなどが挙げられます。この分布を理解することで、複数のデータ間の関係を深く洞察し、適切な意思決定を行うための基礎を築くことができます。多変量に一般化した多変量正規分布も一緒に覚えておくと良いでしょう。