目次
ロジスティック分布とは
ロジスティック分布は、二値の分類問題や人口増加モデルの解析で使われる分布であり、位置パラメータ $\mu$ と尺度パラメータ $s$ を持ちます。ロジスティック分布は左右対称のなだらかな山の形で、正規分布より裾がやや厚めです。また、その累積分布関数はロジスティック関数と呼ばれ、シグモイド曲線（S字型）を描きます。また、位置パラメータ $\mu$ を０、尺度パラメータ $s$ を１としたものは標準ロジスティック分布といいます。
ロジスティック分布の例
- 広告クリック率予測
オンライン広告のクリック率を推定するとき、ユーザーの反応を０か１かの二値で捉えるためにロジスティック分布がよく使われます。S字型の特性によって、閾値を境にクリックの起こりやすさをモデル化できます。 - 人口増加モデル
ある地域の人口推移を予測するとき、成長が上限へ近づく様子を表すためにロジスティック分布が使われます。初期は緩やかに増加し、途中で急増、上限付近になると再び伸びが落ち着いていく、といった変化を捉えることができます。
累積分布関数と確率密度関数
ロジスティック分布の累積分布関数 $F(x)$ と確率密度関数 $f(x)$ は、以下のように表されます：
$\begin{align*}F(x) = \frac{1}{1+\exp\left(\frac{-(x-\mu)}{s}\right)}\ ,\end{align*}$
$\begin{align*}f(x) = \frac{\exp\left(\frac{-(x-\mu)}{s}\right)}{s\left(1+\exp\left(\frac{-(x-\mu)}{s}\right)\right)^2}\ ,\end{align*}$
$\begin{align*}x, \mu \in \mathbb{R},\ s > 0\end{align*}$
ここで、
- $\mu$ は位置パラメータ
- $s$ は尺度パラメータ
また、$\mu$ を０、$s$ を１としたものは標準ロジスティック分布といい、以下のようになります：
$\begin{align*}F(x) = \frac{1}{1+\exp(-x)}\ ,\end{align*}$
$\begin{align*}f(x) = \frac{\exp(-x)}{(1+\exp(-x))^2}\end{align*}$
期待値とその導出
ロジスティック分布の期待値は、以下のように表されます：
$\begin{align*}E[X] = \mu\end{align*}$
実際に導出してみましょう。
$\begin{align*}
E[X] &= \int_{-\infty}^{\infty}xf(x)dx\\
&= \int_{-\infty}^{\infty}x\frac{\exp\left(\frac{-(x-\mu)}{s}\right)}{s\left(1+\exp\left(\frac{-(x-\mu)}{s}\right)\right)^2}dx
\end{align*}$
ここで $\begin{align*}u = \frac{x-\mu}{s}\end{align*}$ と置くと、$dx = sdu$ より、
$\begin{align*}
&= \int_{-\infty}^{\infty}(su+\mu)\frac{\exp(-u)}{s(1+\exp(-u))^2}sdu\\
&= \int_{-\infty}^{\infty}su\frac{\exp(-u)}{(1+\exp(-u))^2}du + \int_{-\infty}^{\infty}\mu\frac{\exp(-u)}{(1+\exp(-u))^2}du\\
\end{align*}$
このうち、$\begin{align*}su\frac{\exp(-u)}{(1+\exp(-u))^2}\end{align*}$ は奇関数であるため、第一項は０となります。
また $\begin{align*}\frac{\exp(-u)}{(1+\exp(-u))^2}\end{align*}$ がロジスティック分布の形をしていることから、確率の第二の公理より、
$\begin{align*}
&= \mu\int_{-\infty}^{\infty}\frac{\exp(-u)}{(1+\exp(-u))^2}du\\
&= \mu
\end{align*}$
分散とその導出
ロジスティック分布の分散は、以下のように表されます：
$\begin{align*}V[X] = \frac{\pi ^2 s^2}{3}\end{align*}$
実際に導出してみましょう。後ほど解説するモーメント母関数を使用していきます。
分散導出時に必要な $E[X^2]$ を求めるために、モーメント母関数の $t$ に関する二回微分をします。
まずは一回微分をまとめます。
$\begin{align*}
M_X'(t) &= (e^{\mu t}\ \Gamma(1+st)\Gamma(1-st))’\\
&= \mu e^{\mu t}\ \Gamma(1+st)\Gamma(1-st)+e^{\mu t}\ \Gamma'(1+st)s\Gamma(1-st)-e^{\mu t}\ \Gamma(1+st)\Gamma'(1-st)s\\
&= \mu e^{\mu t}\ \Gamma(1+st)\Gamma(1-st)+e^{\mu t}\ \psi(1+st)\Gamma(1+st)s\Gamma(1-st)-e^{\mu t}\ \Gamma(1+st)\psi(1-st)\Gamma(1-st)s\\
&= e^{\mu t}\ \Gamma(1+st)\Gamma(1-st)\bigl[\mu+\psi(1+st)s-\psi(1-st)s\bigr]\\
&= M_X(t)\bigl[\mu+\psi(1+st)s-\psi(1-st)s\bigr]
\end{align*}$
ここで $\psi(x)$ はディガンマ関数であり、以下のように定義されます。
$\begin{align*}
\psi(x) &= \frac{d}{dx}\log\Gamma(x)\\
&= \frac{\Gamma'(x)}{\Gamma(x)}
\end{align*}$
次に二回微分をしていきます。
$\begin{align*}
M_X^{(2)}(t) &= \bigl(M_X(t)\bigl[\mu+\psi(1+st)s-\psi(1-st)s\bigr]\bigr)’\\
&= M_X'(t)\bigl[\mu+\psi(1+st)s-\psi(1-st)s\bigr]+M_X(t)\bigl[\mu+\psi(1+st)s-\psi(1-st)s\bigr]’\\
&= M_X(t)\bigl[\mu+\psi(1+st)s-\psi(1-st)s\bigr]^2+M_X(t)\bigl[\psi'(1+st)s^2+\psi'(1-st)s^2\bigr]\\
&= M_X(t)\bigl[\bigl(\mu+\psi(1+st)s-\psi(1-st)s\bigr)^2+\bigl(\psi'(1+st)+\psi'(1-st)\bigr)s^2\bigr]
\end{align*}$
よって $E[X^2]$ は $\begin{align*}\psi'(1)=\frac{\pi^2}{6}\end{align*}$ というディガンマ関数の性質を用いて、
$\begin{align*}
E[X^2] &= \left. M_X^{(2)}(t) \right|_{t=0}\\
&= M_X(0)\bigl[\bigl(\mu+\psi(1)s-\psi(1)s\bigr)^2+\bigl(\psi'(1)+\psi'(1)\bigr)s^2\bigr]\\
&= \mu^2+\frac{\pi^2}{3}s^2
\end{align*}$
この結果を用いて、分散は以下のように求められます。
$\begin{align*}
V[X] &= E[X^2]-E[X]^2\\
&= \mu^2+\frac{\pi^2}{3}s^2-\mu^2\\
&= \frac{\pi ^2 s^2}{3}
\end{align*}$
モーメント母関数とその導出
ロジスティック分布のモーメント母関数は、以下のように表されます：
$\begin{align*}
M_X(t) = E[e^{tX}] = e^{\mu t}\ \Gamma(1+st)\Gamma(1-st), \quad |st| < 1
\end{align*}$
実際に導出してみましょう。
最初に標準ロジスティック分布のモーメント母関数 $M_Y(t)$ を求めます。
まず、$u = F(y)$ と置換します。そうすると $du = f(y)dy$ となるため、
$\begin{align*}
M_Y(t) &= \int_{-\infty}^{\infty}e^{ty}f(y)dy\\
&= \int_{0}^{1}e^{ty}du\\
\end{align*}$
$\begin{align*}e^{ty} = \left(\frac{1-u}{u}\right)^{-t}\end{align*}$ となるため、
$\begin{align*}
&= \int_{0}^{1}\left(\frac{1-u}{u}\right)^{-t}du\\
&= \int_{0}^{1}u^t(1-u)^{-t}du
\end{align*}$
これはベータ関数 $B(1+t, 1-t)$ の形をしているため、以下のように変形できます。
$\begin{align*}
&= B(1+t, 1-t)\\
&= \frac{\Gamma(1+t)\Gamma(1-t)}{\Gamma(2)}\\
&= \Gamma(1+t)\Gamma(1-t)
\end{align*}$
これで標準ロジスティック分布のモーメント母関数を求められました。
この結果を使って一般ロジスティック分布のモーメント母関数を導出しましょう。
標準ロジスティック変数 $Y$ と一般ロジスティック変数 $X$ の関係式は、以下のようになります：
$X = \mu+sY$
よって $X$ のモーメント母関数は、
$\begin{align*}
M_X(t) &= E[e^{tX}]\\
&= E[e^{t(\mu+sY)}]\\
&= e^{\mu t}E[e^{stY}]\\
&= e^{\mu t}M_Y(st)
\end{align*}$
となります。これに先ほどの標準ロジスティック分布のモーメント母関数を代入すると、
$\begin{align*}
&= e^{\mu t}\ \Gamma(1+st)\Gamma(1-st)
\end{align*}$
ロジスティック変換とロジット変換
ロジスティック回帰においては、ロジスティック変換とロジット変換というものを使用します。ロジスティック回帰とは、二値(０/１)を取り１となる確率をモデリングする手法のことで、以下のようなモデル式で表されます。
$\begin{align*}
\log\frac{\pi}{1-\pi} = \beta_0+\beta_1 x_1+\dots+\beta_p x_p
\end{align*}$
$\pi$ は目的変数の期待値で確率を表し、$\begin{align*}\log\frac{\pi}{1-\pi}\end{align*}$ をロジット変換といいます。ロジット変換は、確率を $(-\infty, \infty)$ の範囲に変換します。つまり、ロジスティック回帰はロジット変換した線形予測値を得ているということになります。しかし統計ソフトなどでロジスティック回帰を実行すると、出力は確率になっています。
これは、内部でロジット変換の逆変換であるロジスティック変換を行なっているためです。ロジスティック変換は $\begin{align*}\frac{1}{1+e^{-x}}\end{align*}$ のように表され、実数を確率に変換します。
まとめ
ロジスティック分布は、その累積分布関数がシグモイド曲線を描く分布であり、人口増加モデルなどに使用されます。広く使われているロジスティック回帰の土台となっています。ロジット変換やロジスティック変換も合わせて覚えると効率的です。
