Chapter 08

連続分布 — 正規分布とその一族

この章がなぜ必要なのか——推測統計で実際に使う分布はここに全部ある.

12 章以降でやる検定は、突き詰めれば 「手元の統計量が、この分布のどのあたりに来るか」を見ているだけである。

t 検定なら t 分布、分散の比較なら F 分布、カテゴリなら χ² 分布。 これらは天下り的に与えられるものではなく、すべて正規分布から作られている。 本章ではその作られ方まで示す。

出所が分かれば、「自由度って何？」「なぜ t 分布は正規分布より裾が重いの？」といった 疑問がすべて自然に解ける。

この章で使う既出の用語（定義は各リンク先）. 母集団・標本（01 章 2 節）、標本平均 \(\bar{x}\)・標本分散 \(s^2\)（02 章）、 確率変数・離散型・連続型（06 章 1 節）、確率密度関数 \(f(x)\)・累積分布関数 \(F(x)=P(X\le x)\)（略して cdf）（06 章 2 節）、 期待値 \(E[X]\)（06 章 3 節）、分散 \(V[X]\)・便利公式 \(V[X]=E[X^2]-(E[X])^2\)・\(V[aX+b]=a^2V[X]\)（06 章 4 節）、 確率変数の独立・無相関の反例（06 章 3 節, 5 節）、標本平均 \(\bar X\) と標準誤差（06 章 6 節）、 積率母関数 mgf と「独立な和の mgf は積」（06 章 7 節）、ポアソン過程（07 章 4 節）、再生性（07 章 3 節）。 以下 \(\mu = E[X]\)、\(\sigma^2 = V[X]\) と書く。

1. 分布の家系図

                    正規分布 N(μ, σ²)
                          │
              標準化      ↓
                    標準正規 N(0,1) の Z
                          │
        ┌─────────────────┼──────────────────┐
        ↓                 ↓                  ↓
   Z²を k 個足す      Z / √(W/k)        (W₁/k₁)/(W₂/k₂)
        ↓                 ↓                  ↓
   χ²分布 (自由度k)    t分布 (自由度k)     F分布 (k₁,k₂)
     ↑                                        ↑
     │  ガンマ分布の特別な場合          t² = F(1,k)
     │
  指数分布 ← ガンマ分布 → ベータ分布（区間[0,1]）

図の記号は本章で順に定義する。\(\mu, \sigma^2\) は正規分布の平均と分散（4 節）、\(Z\) は標準正規分布に従う確率変数（4 節）、 \(k\) は自由度（7 節）、\(W, W_1, W_2\) は χ² 分布に従う確率変数（8〜9 節）である。

2. 連続分布の基本

密度と確率

離散の \(\sum\) が \(\int\) に変わっただけで、意味も性質もすべて同じである。

再確認: 密度は確率ではない. \(f(x)\) は 1 を超えてよい。 例えば次節の一様分布で区間を \([0, 0.5]\) にすると \(f(x)=2\) である。 確率になるのは幅を掛けて面積にしたとき。\(P(X=a)=0\) は連続型では常に成り立つ。

この帰結として、連続分布では \(P(X\le a) = P(X<a)\) であり、 「以上/超過」の区別を気にしなくてよい（離散型では区別が要る）。

3. 一様分布

導出（\(a=0,b=1\) で計算して一般化する）: \(U\sim\text{Unif}(0,1)\) とすると

一般の \([a,b]\) 上の一様分布は \(X = a + (b-a)U\) と書ける（\(U\) が \([0,1]\) を一様に動けば \(X\) は \([a,b]\) を一様に動く）ので、 \(E[aX+b]=aE[X]+b\) と \(V[aX+b]=a^2V[X]\) から \(E[X] = a + (b-a)/2 = (a+b)/2\)、\(V[X] = (b-a)^2/12\)。∎

なぜ重要か. 乱数生成の出発点がこれである。 一様乱数 \(U\sim\text{Unif}(0,1)\) があれば、逆関数法によって任意の分布の乱数が作れる。 cdf \(F\) が連続で狭義単調増加なら、\(X = F^{-1}(U)\) とすれば \(X\) は cdf が \(F\) の分布に従う。

証明: \(F\) は増加関数なので、\(F^{-1}(U)\le x\) という条件と、その両辺に \(F\) を施した \(U \le F(x)\) という条件は同じである。よって \(P(X\le x) = P(F^{-1}(U)\le x) = P(U \le F(x)) = F(x)\)。∎ （最後は \(U\) が一様なので \(P(U\le u)=u\) であることを使った。） シミュレーションの根幹をなす技法である。

4. 正規分布 — 統計の主役

定義

\(X\sim N(\mu,\sigma^2)\) と書く。

式の読み方（丸暗記せず、部品に分けると覚えやすい）:

正規化定数の導出（ガウス積分）

\(\int e^{-x^2/2}dx = \sqrt{2\pi}\) を示す。有名な二重積分（2 変数の平面上の積分）のトリックを使う。

\(I^2 = I\cdot I\) で、2 つ目の \(I\) の積分変数を \(y\) と書き直すと、\(xy\) 平面全体での積分になる。

平面上の点を原点からの距離 \(r\) と角度 \(\theta\) で表す極座標 \(x=r\cos\theta, y=r\sin\theta\) に変換する。 \(x^2+y^2 = r^2\) で、微小面積は「幅 \(dr\)、弧の長さ \(r\,d\theta\) の小さな長方形」なので \(dxdy = r\,dr\,d\theta\)。

\(u=r^2/2\)、\(du = rdr\) と置換すると

∎

1 次元では初等関数（多項式・指数・対数・三角関数とその組み合わせ）で積分できないのに、2 次元にすると解けるという有名な技である。 正規分布の cdf に閉じた式がないのも同じ理由で、数値計算（正規分布表、統計ソフトの関数）に頼ることになる。

一般の \(\sigma\) では \(x = \mu + \sigma t\)、\(dx = \sigma\,dt\) と置換すると \(\int f(x)dx = \frac{1}{\sqrt{2\pi\sigma^2}}\cdot\sigma\int e^{-t^2/2}dt = \frac{\sigma\sqrt{2\pi}}{\sqrt{2\pi\sigma^2}} = 1\) となり、確かに全積分が 1 になる。

標準正規分布

\(\mu=0, \sigma=1\) のもの。

任意の正規分布は標準化で移せる。

導出: \(Z\) の cdf を計算する。\(x = \mu+\sigma t\)、\(dx = \sigma\,dt\) と置換すると

cdf が標準正規分布のものと一致するので \(Z\sim N(0,1)\)。∎ 逆に \(X = \mu+\sigma Z\) である。

\(N(\mu,\sigma^2)\) の平均と分散が本当に \(\mu,\sigma^2\) であることの確認: まず \(Z\) について、 \(z\phi(z)\) は奇関数（\(z\to -z\) で符号が変わる）なので \(E[Z] = \int z\phi(z)dz = 0\)。 \(\phi'(z) = -z\phi(z)\) を使って部分積分すると

（\(z\phi(z)\) は \(|z|\to\infty\) で 0 に行く。）よって \(V[Z]=1\)。\(X=\mu+\sigma Z\) なので \(E[X]=\mu\)、\(V[X]=\sigma^2 V[Z]=\sigma^2\)。∎

同じ部分積分をもう一段やると、\(E[Z^4] = \int z^3\cdot z\phi(z)dz = \Big[-z^3\phi(z)\Big]_{-\infty}^{\infty} + 3\int z^2\phi(z)dz = 3E[Z^2] = 3\)。 これが 02 章で「正規分布の四乗の平均は 3」として尖度の基準に使った値である。7 節 の χ² 分布の分散でも使う。

覚えるべき数値

1.96 という数字は統計で最も頻繁に出会う定数である. 「95% 信頼区間 = 推定値 ± 1.96 × 標準誤差」（11 章）、 「有意水準 5% の両側検定の棄却限界」（12 章）——どちらもこの表の 3 行目である。 ほぼ 2 なので、暗算では「±2 SE」と覚えておけば実務は足りる。

正規分布の際立った性質

(1) 再生性（和も正規分布）

導出: 積率母関数（mgf、06 章 7 節）で示す。まず標準正規の mgf は、指数の肩を平方完成して

（\(tz - z^2/2 = -(z-t)^2/2 + t^2/2\)。残った積分は中心が \(t\) の正規密度の全積分なので 1。） \(X = \mu+\sigma Z\) なので \(M_X(t) = E[e^{t\mu + t\sigma Z}] = e^{\mu t}M_Z(\sigma t) = \exp(\mu t + \sigma^2t^2/2)\)。 独立な和の mgf は mgf の積（06 章 7 節）だから

これは \(N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)\) の mgf である。mgf が（0 の近くで存在して）一致する 2 つの分布は同じ分布である（mgf の一意性定理。mgf はすべてのモーメントを生成するので「モーメントが全部同じなら分布も同じ」という主張であり、証明は本シリーズの範囲外）。よって和は正規分布に従う。∎

「和も正規分布になる」分布は珍しい. この閉じた性質のおかげで、 「複数の測定の平均」「差」「線形結合」がすべて正規分布のまま扱える。 統計の計算がここまで整然と進むのは、この性質に負うところが大きい。

(2) 無相関 ⇒ 独立（多変量正規分布の場合のみ）

一般には無相関でも独立とは限らない（06 章の反例）が、 同時分布が多変量正規なら、無相関と独立は同値になる。 ここで多変量正規分布とは、複数の確率変数 \(X_1,\dots,X_n\) の同時分布で、どの線形結合 \(a_1X_1+\cdots+a_nX_n\) も正規分布になるものをいう（独立な正規変数を並べたものはその例）。 その同時密度は平均と共分散だけで決まり、共分散が 0 なら密度が各変数の密度の積に分かれるため、無相関から独立が従う。 この便利さは 19 章・26 章で効いてくる。

(3) 中心極限定理

何を足しても平均を取れば正規分布に近づく（09 章で詳述）。 これが「正規分布がなぜこれほど遍在するのか」への答えである。

対数正規分布

\(\log X \sim N(\mu,\sigma^2)\) のとき、\(X\) は対数正規分布に従う。

導出: \(Y = \log X\sim N(\mu,\sigma^2)\) とすると \(X = e^{Y}\) なので、\(E[X] = E[e^{1\cdot Y}] = M_Y(1) = \exp(\mu + \sigma^2/2)\)（上で導いた正規分布の mgf に \(t=1\) を入れただけ）。 中央値は \(P(X\le e^{\mu}) = P(Y\le\mu) = 1/2\) から \(e^{\mu}\)。∎

右に長い裾を引き、必ず正の値を取る。所得、株価、細菌の増殖、Web 滞在時間などに現れる。

なぜ現れるのか. 多数の独立な要因が足し算で効く量は正規分布に近づく（中心極限定理、09 章で証明する）。 要因が掛け算で効くなら、対数を取れば足し算になるので、対数が正規分布に近づく。つまり対数正規分布は中心極限定理の掛け算版である。 02 章で「所得は平均より中央値」と述べたが、対数正規分布では \(E[X] > \text{中央値}\) が常に成り立つ（\(\sigma>0\) のとき）ので、これは分布の性質として説明できる。

5. 指数分布 — 待ち時間

\(E[X]\) の導出（部分積分。\(\lambda e^{-\lambda x} = (-e^{-\lambda x})'\) を使う）:

（\(xe^{-\lambda x}\) は \(x\to\infty\) で 0 に行く。指数関数は多項式より速く減衰する。）

\(V[X]\) の導出: 同じ部分積分で

∎

ポアソン過程との関係

発生率 \(\lambda\) のポアソン過程で、次の事象までの待ち時間は指数分布に従う。

導出: 時間 \(t\) まで 1 回も起きない確率は、ポアソン分布の \(k=0\) の項である。

∎

ポアソンと指数は同じ現象の裏表である.「1 時間に平均 3 人来る」（ポアソン）と 「次の客まで平均 20 分」（指数）は、同じことを回数で言うか時間で言うかの違いにすぎない。

無記憶性（連続版で唯一）

「もう 1 時間待った。そろそろ来るはずだ」——指数分布なら誤り. 待った時間は次の待ち時間に一切影響しない。

実務的な含意: 部品の寿命が指数分布に従うなら、予防交換は無意味である。 新品も 10 年使った部品も、次の 1 年で壊れる確率が同じだからだ。 実際の機械部品は摩耗するので指数分布に従わない（故障率が時間とともに増減できるように指数分布を拡張したワイブル分布などを使う）が、 電子部品の偶発故障期はよく指数分布で近似される。

6. ガンマ分布 — 指数分布の一般化

ここで \(\Gamma(\alpha)=\int_0^\infty t^{\alpha-1}e^{-t}dt\) はガンマ関数で、階乗の拡張である （\(\Gamma(n)=(n-1)!\)、\(\Gamma(1/2)=\sqrt{\pi}\)）。部分積分すると \(\Gamma(s+1) = \left[-t^{s}e^{-t}\right]_0^\infty + s\int_0^\infty t^{s-1}e^{-t}dt = s\,\Gamma(s)\) という漸化式が出る。これが階乗と同じ構造である。

\(E[X], V[X]\) の導出: \(t = \beta x\) と置換すると \(\int_0^\infty x^{s-1}e^{-\beta x}dx = \Gamma(s)/\beta^{s}\)。これを \(s = \alpha+m\) で使うと

漸化式から \(\Gamma(\alpha+1) = \alpha\Gamma(\alpha)\)、\(\Gamma(\alpha+2) = (\alpha+1)\alpha\Gamma(\alpha)\) なので \(E[X] = \alpha/\beta\)、\(E[X^2] = \alpha(\alpha+1)/\beta^2\)、\(V[X] = \alpha(\alpha+1)/\beta^2 - \alpha^2/\beta^2 = \alpha/\beta^2\)。∎ （この \(E[X^m]\) の式は \(m\) が負でも \(\alpha+m>0\) なら使え、8 節 で \(E[1/W]\) を求めるのに使う。）

ガンマ分布は再生性（独立な和が同じ族に留まる性質。07 章 3 節）を持ち、\(\beta\) が同じなら \(\alpha\) が足される。 23 章のベイズ統計では、ポアソン分布の共役事前分布として登場する。

7. χ² 分布 — 二乗和の分布

定義

\(Z_1,\dots,Z_k\) が独立な標準正規分布に従うとき、

の分布を自由度 \(k\) の χ² 分布と呼ぶ。

導出: 06 章 4 節 の便利公式を並べ替えた \(E[Z^2] = V[Z]+(E[Z])^2 = 1+0 = 1\) より、\(k\) 個足して \(E = k\)。 分散は、4 節 で求めた \(E[Z^4]=3\) から \(V[Z^2] = E[Z^4]-(E[Z^2])^2 = 3-1 = 2\) で、独立な \(k\) 個の和なので \(2k\)。∎

標本分散との関係（極めて重要）

\(X_1,\dots,X_n \overset{iid}{\sim} N(\mu,\sigma^2)\)（独立に同じ正規分布に従う）のとき、標本平均 \(\bar{X} = \frac{1}{n}\sum X_i\)、標本分散 \(s^2 = \frac{1}{n-1}\sum(X_i-\bar X)^2\) について

なぜ自由度が \(n-1\) なのか: \(\sum(X_i-\bar{X})^2\) は \(n\) 個の項の和だが、 \(\sum(X_i-\bar{X})=0\) という 1 本の拘束がある（02 章）。 自由に動ける方向が \(n-1\) 次元しかないので、\(n-1\) 個の独立な標準正規の二乗和と同じ分布になる。

幾何的な見方（証明の骨格）. \(n\) 個のデータ \((X_1,\dots,X_n)\) を \(n\) 次元空間の 1 点（ベクトル）とみなす。 全成分が 1 のベクトル \(\mathbf{1} = (1,\dots,1)\) 方向の成分は \(\bar X\mathbf{1}\)、残りは \((X_1-\bar X,\dots,X_n-\bar X)\) で、 後者は \(\mathbf{1}\) と直交する（内積 \(\sum (X_i-\bar X)\cdot 1 = 0\)、02 章の「偏差の和は 0」）。 前者が 1 次元、後者が \(n-1\) 次元。ピタゴラスの定理で二乗和が分かれる: \(\sum X_i^2 = n\bar X^2 + \sum(X_i-\bar X)^2\)。

独立な正規変数を並べたベクトルは、座標軸を回転しても「独立な正規変数を並べたベクトル」のままである（回転後の各成分は元の成分の線形結合なので多変量正規で、回転は直交変換だから共分散が保たれ、無相関 ⇒ 独立（4 節 (2)）が効く）。 そこで第 1 軸を \(\mathbf{1}/\sqrt{n}\) 方向に取ると、第 1 成分は \(\sqrt{n}\bar X\)、残り \(n-1\) 成分の二乗和が \(\sum(X_i-\bar X)^2\) になる。 残り \(n-1\) 成分は互いに独立で各々 \(N(0,\sigma^2)\)（平均方向の成分に直交するので平均 \(\mu\) の寄与が消える）だから、\(\sigma\) で割った二乗和は \(\chi^2_{n-1}\)。 同時に第 1 成分（\(\bar X\) を決める）と残りの成分（\(s^2\) を決める）が独立なので、「\(\bar{X}\) と \(s^2\) が独立」（正規分布の場合）も従う。 15 章の分散分析はこの分解を多段に行うものである。

形

• \(k=1,2\): 右下がりの単調減少
• \(k\ge 3\): 右に歪んだ山型
• \(k\) が大きい: 正規分布に近づく（中心極限定理。二乗和だから）

χ² 分布は 14 章（適合度検定・独立性の検定）と 11 章（分散の信頼区間）で使う。

8. t 分布 — 分散が未知のときの正規分布

なぜ必要になったのか

標本平均を標準化したい。母分散 \(\sigma^2\) が既知なら

だが現実には \(\sigma\) は分からない。仕方なく標本標準偏差 \(s\) で代用すると

これはもう正規分布ではない。分母もランダムに揺れているからである。

どちらに揺れるか. \(s\) がたまたま小さく出ると \(T\) は大きくなる。 つまり分母の揺れが極端な値の出やすさを増やす。 だから t 分布は正規分布より裾が重い。これは直感どおりであり、後で式でも確認できる。

定義

\(Z\sim N(0,1)\)、\(W\sim\chi^2_k\) が独立のとき、

先ほどの \(T\) がこの形になることの確認:

ここで \(W = (n-1)s^2/\sigma^2\sim\chi^2_{n-1}\) であり、正規母集団では \(\bar{X}\) と \(s^2\) が独立なので、 定義の条件をすべて満たす。よって \(T\sim t_{n-1}\)。∎

性質

導出: \(Z\) と \(W\) が独立なので積の期待値が分かれる。\(E[T] = E[Z]\,E[(W/k)^{-1/2}] = 0\)（右の期待値が有限になるのは \(k>1\) のとき）。 \(V[T] = E[T^2] = E[Z^2]\,E[k/W] = k\,E[1/W]\)。\(W\) は \(\alpha=k/2, \beta=1/2\) のガンマ分布なので、6 節 の \(E[X^m]\) の式に \(m=-1\) を入れて

よって \(V[T] = k/(k-2)\)。∎

分散が 1 より大きいことに注目。\(k=3\) なら 3、\(k=10\) なら 1.25、\(k\to\infty\) で 1。 自由度が小さいほど裾が重く、大きくなると標準正規分布に一致する。

実務的な目安. \(n\ge 30\) なら t と z の差は 5% 程度で、多くの場面で実害がない。 ただし \(n\) が小さいときの差は決定的である。\(n=5\)（自由度 4）で 1.96 を使うと、 本来 2.776 必要なところを甘く見ることになり、有意になりすぎる。

迷ったら t を使えばよい。\(n\) が大きければ勝手に z に一致するので、損はない。

歴史の余談. t 分布はギネスビール社の技術者ゴセットが 1908 年に発表した。 会社が従業員の論文発表を禁じていたため「Student」という筆名を使った。 だから今でも「スチューデントの t 分布」と呼ばれる。 少数の標本でビールの品質を判断する必要から生まれた、実務直結の分布である。

9. F 分布 — 分散の比

\(W_1\sim\chi^2_{k_1}\)、\(W_2\sim\chi^2_{k_2}\) が独立のとき、

「自由度で割った χ² の比」。2 つの分散を比べるための分布である。 （ここでの \(F\) はこの統計量と分布の名前で、累積分布関数 \(F(x)\) とは別物である。統計学ではどちらも慣用的にこの文字を使う。）

性質

逆数の確認: \(1/F = (W_2/k_2)/(W_1/k_1)\) で、分子と分母が入れ替わっただけなので定義から \(F(k_2,k_1)\)。∎

\(t_k^2=F(1,k)\) の確認: \(T = Z/\sqrt{W/k}\) を二乗すると \(T^2 = Z^2/(W/k) = (Z^2/1)/(W/k)\)。 \(Z^2\sim\chi^2_1\) なので、これはまさに \(F(1,k)\) の定義である。∎

\(F(k_1,\infty)\) の意味: \(k_2\to\infty\) の極限。\(W_2\) は \(k_2\) 個の独立な \(Z^2\)（平均 1）の和なので、\(W_2/k_2\) はその標本平均であり、 09 章の大数の法則で 1 に収束する。よって \(F \to W_1/k_1\)、\(k_1F \to W_1\sim\chi^2_{k_1}\)。∎

この関係が意味すること. 2 群の平均を比べる t 検定と、 2 群の分散分析（F 検定）はまったく同じ結論を出す。 15 章で「なぜ 2 群なら t 検定でも ANOVA でもよいのか」の答えがこれである。

F 分布は 14 章（分散の比の検定）、15 章（分散分析）、19 章（回帰の有意性検定）で使う。

10. ベータ分布 — 割合の分布

分母の \(B(\alpha,\beta) = \int_0^1 x^{\alpha-1}(1-x)^{\beta-1}dx\) はベータ関数で、全積分を 1 にする正規化定数である。ガンマ関数で \(B(\alpha,\beta) = \dfrac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}\) と書ける（ガウス積分と同じく、2 つのガンマ関数の積を二重積分にして変数変換すると示せる）。

\(E[X], V[X]\) の導出: 密度に \(x^m\) を掛けて積分すると指数が \(\alpha+m-1\) に変わるだけなので

漸化式 \(\Gamma(s+1)=s\Gamma(s)\) から \(E[X] = \dfrac{\alpha}{\alpha+\beta}\)、\(E[X^2] = \dfrac{\alpha(\alpha+1)}{(\alpha+\beta)(\alpha+\beta+1)}\)。

∎

区間 \([0,1]\) 上の分布なので、「割合」「確率そのもの」を表すのに使う。

ベイズ統計での主役. ベイズ統計（05 章の事前確率・事後確率を、パラメータの取りうる値ごとの分布＝事前分布・事後分布に拡張したもの）では、 事前分布と事後分布が同じ族に留まるような事前分布を共役事前分布と呼ぶ（23 章 2 節）。二項分布のパラメータ \(p\) の共役事前分布がベータ分布である。 事前 \(\text{Beta}(\alpha,\beta)\) に「\(s\) 回成功・\(f\) 回失敗」を観測すると、 事後は \(\text{Beta}(\alpha+s, \beta+f)\) になる——ただ足すだけ。 23 章で詳しく扱う。

11. まとめ表

• χ²・t・F はすべて標準正規分布から作られている。独立に覚える必要はない。
• t 分布は「\(\sigma\) を \(s\) で代用した代償」として裾が重くなったもの。\(n\to\infty\) で正規に戻る。
• 自由度とは「自由に動ける次元の数」。拘束が 1 本増えるごとに 1 減る。
• 1.96（95%）と 2.576（99%）は覚えておく。