2018-07-31

区間推定の理論と実践

統計学

統計学における推定の考え方は仮説検定と双璧を成す重要な理論であり、初学者がまず目指すべき最高到達点である。推定は強力な手法であるが故に、恐らく大抵の教科書では記載があるだろうし、ググればいくらでもWebページがヒットする。

そんな状況下ではあるが、推定の中でも特に区間推定は個人的に興味をそそられる内容であり、ぜひともブログを書き起こしてみたくなった。そこで、本稿ではできるだけ二番煎じにならないよう、私が得た区間推定に対する理解について説明してみたいと思う。

本稿では正規母集団から抽出した標本データを用いた母平均の区間推定のみをターゲットとする。また、適当なサンプルデータを用いて実際に区間推定を行うことで、区間推定の理論に対して確かな実感を得てみたいと思う。

なお、本稿を執筆するに辺り、全体的に[1][2]を参考にした。

母平均の区間推定

母分散が既知の場合

正規母集団 $N(\mu,\ \sigma^2)$ に従う独立な確率変数 $X_1,\ X_2,\ \cdots .\ X_n$ の標本平均 $\overline{X}$ を考える。このとき、 $\overline{X}$ 自体も確率変数となっており、これが従う確率分布は $N(\mu,\ \sigma^2/n)$ となる。また、これを標準化した確率変数 $Z = \frac{\overline{X} - \mu}{\sigma/\sqrt{n}}$ は、当然だが標準正規分布 $N(0,\ 1)$ に従う。

今、母分散 $\sigma^2$ は分かっているが、母平均 $\mu$ の値が不明な状況を考える。もちろん、実際にはこんなことはまずあり得ないのだが、このケースを考えることは後々の議論において意味がある。

この時、 $\mu = E(\overline{X})$ という関係が成り立つので、標本平均をそのまま母分散だと考えてもあながち間違いではない。しかし、当然だが $\overline{X}$ の値にはぶれがあり、どんなサンプルを抽出するかによって値が変わってしまう。しかも、極端なケースでは $\overline{X}$ はとんでもなく大きくなったり小さくなったりすることがあり得る。そのため、 $\overline{X}$ の値だけをみても、母平均について何も確実なことは言えない。

では、何か確率的な議論はできないだろうか？例えば「95%の確率で $\mu$ はAからBの間に入ります」というようなことが言えないだろうか？

結論から言うとこれは可能である。標準正規分布において、それより大きい値を取る確率が $\alpha\ (0 < \alpha < 1)$ となるような点 ( $100 \alpha$ パーセント点) を $Z_\alpha$ と表すと、先ほど導入した確率変数Zは確率 $1 - \alpha$ で以下の不等式を満たす。

$\displaystyle{ -Z_{\alpha/2} < Z < Z_{\alpha/2} }$

2点注意事項がある。まず、これは正規分布が左右対称だから言えることである。さもなければ、 $-Z_{\alpha/2}$ の部分はそれより小さい値を取る確率が $\alpha/2$ となるような点を別途求めて、それと置き換えてやる必要がある。

次に、 $\alpha$ を2で割っている理由だが、これは上側の $\alpha/2$ と下側の $\alpha/2$ を両方排除し、残りが $1 - \alpha$ となるようにするためである。

この不等式を変形すれば、以下のように $\mu$ が確率 $1 - \alpha$ で取る値の範囲が分かる。

$\displaystyle{ \overline{X} - \frac{Z_{\alpha/2} \sigma}{\sqrt{n}} < \mu < \overline{X} + \frac{Z_{\alpha/2}\sigma}{\sqrt{n}} }$

母分散が未知の場合

先ほども述べた通り、母平均は未知なのに母分散は分かっているということは普通はあり得ない。実際に得られるのは不偏分散 $s^2$ だけというケースがほとんどである。不偏分散の定義式を以下に示す。

$\displaystyle{ s^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \overline{X})^2 }$

不偏分散に対しては $\sigma^2 = E(s^2)$ という関係式が成り立つので、これを母分散の代わりに用いることはそれほど不自然ではない。しかし、やはりサンプル数が少ない場合には母分散とかけ離れた値を取ることがあり得る。そのため、先ほど考えた確率変数Zの式に対して単に $\sigma = s$ を代入すると、これはもはや正規分布には従わない。

では、これはどのような分布になるのだろうか？それを調べるために、Zの式に $\sigma = s$ を代入した式を以下のように変形してみよう。

$\displaystyle{ \begin{eqnarray} t &=& \frac{\overline{X} - \mu}{\frac{s}{\sqrt{n}}} \\ &=& \frac{\overline{X} - \mu}{\frac{\sigma}{\sqrt{n}} \cdot \frac{s}{\sigma}} \\ &=& \frac{Z}{\frac{\sqrt{\frac{1}{n-1} \sum_{i=1}^n (X_i - \overline{X})^2}}{\sigma}} \\ &=& \frac{Z}{\sqrt{\frac{1}{n-1} \sum_{i=1}^n \left(\frac{X_i - \overline{X}}{\sigma}\right)^2}} \end{eqnarray} }$

ここで、分母に $\sum_{i=1}^n \left(\frac{X_i - \overline{X}}{\sigma}\right)^2$ という式が現れた。この式自体も確率変数であり、これは標準正規分布に従う確率変数の二乗和を表す。このような確率変数が従う確率分布は自由度n-1の $\chi^2$ 分布と呼ばれる。

まとめると、標準正規分布に従う確率変数Zと自由度n-1の $\chi^2$ 分布に従う確率変数Wによって、元々の確率変数tは以下のように表される。

$\displaystyle{ t = \frac{Z}{\sqrt{\frac{W}{n-1}}} }$

このような確率変数tが従う確率分布は自由度n-1のt分布と呼ばれる。結論として、母分散未知のケースにおける母平均の推定にはt分布を使用する必要があることが分かった。

自由度n-1のt分布を $t(n-1)$ と書くと、母分散既知のケースと同様の計算を行うことで、 $\mu$ は確率 $1 - \alpha$ で以下の不等式を満たすことが分かる。

$\displaystyle{ \overline{X} - \frac{t_{\alpha/2}(n-1) s}{\sqrt{n}} < \mu < \overline{X} + \frac{t_{\alpha/2}(n-1) s}{\sqrt{n}} }$

ただし、 $t_{\alpha/2}(n-1)$ は自由度n-1のt分布の $100 \alpha/2$ パーセント点を表す。ここでもt分布が左右対称であることを利用している。

サンプル数に関する注意

t分布は自由度が大きくなると正規分布に収束していく。そのため、t分布を用いる必要があるのはサンプル数が少ない場合に限る。実用上はサンプル数が30以上あれば正規分布を使用しても差し支えないようである[1]。

区間推定の実践

ここまでに述べたことを実践してみよう。統計処理をするにはpythonかRが簡単そうであるが、Android上で環境を構築できたのでpythonを使うことにする[3]。また、データセットとしてIrisは見飽きたので、ここではAbarone (アワビ) を使用している[4]。

Abaroneデータセットには、1列目に性別、3列目に直径の情報が入っている。今回はオスのアワビの直径データについて、母平均の区間推定を行ってみた。サンプル数は敢えて少なめに10とし、t分布を使った場合と正規分布を使った場合で比較を行った。もちろん、正しいのはt分布を使う方である。

以下に今回作成したソースコードを示す。作成の際には[5]を参考にさせて頂いた。日本語コメントは本稿のために後から付したものであり、このままでは実行できないので注意されたい。

import pandas as pd
from scipy import stats
import math

# 全部の列に名前を付けるのは諦めた...
abalone = pd.read_csv('file:///storage/emulated/0/Download/abalone.data', 
                 header=None, names=['sex', 'length', 'diameter', 'height', 'a', 'b', 'c', 'd', 'e'])

# オスの情報だけ抽出
male = abalone[abalone['sex'] == 'M']

n = 10
# 自由度n-1のt分布の95%信頼区間を取得
tleft, tright = stats.t.interval(alpha=0.95, df=n-1)
# 正規分布の95%信頼区間を取得
nleft, nright = stats.norm.interval(alpha=0.95)

mean = male.iloc[:n]['diameter'].mean()
# デフォルトで不偏分散の平方根が計算される
stddev = male.iloc[:n]['diameter'].std()

# 本文中の式と若干符号が異なるので注意
tleft = mean + tleft*stddev/math.sqrt(n)
tright = mean + tright*stddev/math.sqrt(n)

nleft = mean + nleft*stddev/math.sqrt(n)
nright = mean + nright*stddev/math.sqrt(n)

print("mean = {:.3f}, stddev = {:.3f}".format(mean, stddev))
print("t-dist: left = {:.3f}, right = {:.3f}".format(tleft, tright))
print("n-dist: left = {:.3f}, right = {:.3f}".format(nleft, nright))

実行結果を以下に示す。

mean = 0.339, stddev = 0.046
t-dist: left = 0.306, right = 0.372
n-dist: left = 0.310, right = 0.368

実行結果から分かるように、正規分布を使った場合は区間が狭めに出力されてしまう。そのため、正規分布での結果を元に考察を行うと判断を誤る恐れがある。

最後に特大の注意事項がある。今回はオスのアワビの直径データが正規分布に従うと仮定して分析を行ったが、本来であればこの仮定の妥当性は良く確かめる必要がある。誤った仮定を元に一生懸命計算したとしても、その結果には何の意味もないどころか、誤った帰結へと導かれる危険性がある。

データが正規分布に良く当てはまっているかどうかを判断する方法について私には知見がない。軽くググってみたらいろいろと情報がありそうだったので、興味のある方は調べてみると面白いかもしれない。

その他の話題

本稿では正規母集団から抽出したサンプルから母平均の区間推定を行った。この他にも、例えば母分散の区間推定を行う方法などは有名である[1]。また、実用上のタスクとしては正規母集団以外の母集団を考えることもあるだろう。しかし、どんな場合であれ、基本的な区間推定の考え方は本稿に述べたものと大きく異なることはないであろう。

まとめ

以上、区間推定に関する理論と実践について述べた。統計学は応用先が非常にたくさんある分野なので、理解を深めておいて損はない。また機会があれば、多変量解析などの進んだ内容も勉強し直したい。

参考

[1]

統計学入門 (基礎統計学?)

作者: 東京大学教養学部統計学教室
出版社/メーカー: 東京大学出版会
発売日: 1991/07/09
メディア: 単行本
購入: 158人クリック: 3,604回
この商品を含むブログ (79件) を見る

[2] 統計学の時間 | 統計WEB
[3] https://play.google.com/store/apps/details?id=ru.iiec.pydroid3&hl=ja&referrer=utm_source%3Dgoogle%26utm_medium%3Dorganic%26utm_term%3Dpydroid+3&pcampaignid=APPU_1_4VFeW8v9NovS8wXKsq_4Cw
[4] UCI Machine Learning Repository: Abalone Data Set
[5] Python: SciPyを使った統計的推定 - け日記

2018-07-22

確率分布族の再生性まとめ

確率分布はたくさんある

統計学を勉強していると、世の中には本当にたくさんの確率分布が存在する事に気付く。現実世界の現象に統計学を応用しようと考えるとき、その現象にはどのような確率分布が良く当てはまるのかを考えたくなる時がある。そのためには、数ある確率分布がそれぞれどういう現象をうまく表現できるかということを知っておく必要がある。

そこで、本稿では基本的な確率分布の特徴についてまとめてみ・・・ようと思ったのだが、途中までやりかかったところですでに素晴らしいまとめ[1]が存在することに気づいた。

劣化コピーを作っても意味がないので、ここでは[1]に記載が少ない再生性に関する事項についてのみまとめてみる。ただし、さすがに[1]に記載されている全ての分布について調べるのはしんどいので、ここでは私が個人的に興味を持った分布についてのみ紹介する。詳細は[2][3][4][5][6]等を参照のこと。

離散型

名称	再生性	$X_i\ (i=1,\ 2)$	$X_1 + X_2$
二項分布	有り	$Bi(n_i,\ p)$	$Bi(n_1 + n_2,\ p)$
ポアソン分布	有り	$Po(\lambda_i)$	$Po(\lambda_1 + \lambda_2)$

連続型

名称	再生性	$X_i\ (i=1,\ 2)$	$X_1 + X_2$
正規分布	有り	$N(\mu_i,\ \sigma_i^2)$	$N(\mu_1 + \mu_2,\ \sigma_1^2 + \sigma_2^2)$
対数正規分布	有り	$\Lambda(\mu_i,\ \sigma_i^2)$	$\Lambda(\mu_1 + \mu_2,\ \sigma_1^2 + \sigma_2^2)$
指数分布	無し	-	-
ガンマ分布	有り	$Ga(\alpha_i,\ \lambda)$	$Ga(\alpha_1 + \alpha_2,\ \lambda)$
コーシー分布	有り	$Ca(\alpha_i,\ \beta_i)$	$Ca(\alpha_1+\alpha_2,\ \beta_1+\beta_2)$
$\chi^2$ 分布	有り	$\chi^2(m_1)$	$\chi^2(m_1 + m_2)$
t分布	無し？	-	-

まとめ

調べてみると、意外と多くの確率分布族が再生性を持つことが分かった。世の中うまくできているものだ。

今回は[1]を見つけたことでブログを書くモチベーションが下がってしまったが、こういうまとめが存在すること自体は大変ありがたい。困ったときに活用させてもらおう。

参考

[1] http://ankokudan.org/d/dl/pdf/pdf-kakuritu.pdf
[2]

統計学入門 (基礎統計学Ⅰ)

東京大学出版会

Amazon

[3] 対数正規分布 - Wikipedia
[4] ガンマ分布 - Wikipedia
[5| コーシー分布 - Wikipedia
[6] カイ二乗分布 - Wikipedia

2018-06-20

中心極限定理と確率分布族の再生性

統計学確率論

確率・統計の分野における定理と言えばいろいろあるが、中でも中心極限定理は有名だろう。ざっくり言えば、中心極限定理とはある確率分布に従う独立な確率変数をたくさん取り出すと、それらの和が従う確率分布は正規分布に近づいていくというものである。

一方で、確率分布の中には再生性と呼ばれる性質を持つものがある。これは、ある確率分布族に属する2つの確率分布に対して、それぞれに従う2つの独立な確率変数の和を取ると、その和が従う確率分布は再び元の確率分布族に属するというものである。

これらは一見すると矛盾しているようにも思える。なぜなら、一方は和の確率分布が正規分布になると言い、もう一方は和の確率分布は元の分布と同じ分布族に属すると主張しているからである。

そこで本稿では両者の間にどのような関係があり、どうすれば両者を矛盾なく解釈できるかについて考えてみる。

中心極限定理

中心極限定理の内容をWikipedia[1]より引用する。

中心極限定理

期待値 $\mu$ と分散 $\sigma^2$ を持つ独立同分布 ("i.i.d.") に従う確率変数 ("r.v.") 列 $X_1,\ X_2, \ldots$ に対し、
$\displaystyle{ S_{n}:=\sum _{k=1}^{n}X_{k} }$
とおくと、
$\displaystyle{ P{\Big (}{\frac {S_{n}-n\mu }{{\sqrt {n}}\sigma }}\leq \alpha {\Big )}\to {\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{\alpha }e^{-{\frac {x^{2}}{2}}}dx\qquad (n\to \infty ). }$
つまり、i.i.d. r.v. 列の和を標準化すると、期待値 0, 分散 1 の正規分布 N(0, 1) に分布収束する。

記事[1]の英語版には記載があるのだが、定理成立のためには分散が有限の値を取ることも必要なので注意されたい。

確率分布族の再生性

定義

続いて、再生性の定義をWikipedia[2]より引用する。

確率分布族の再生性

分布族 $\mathbb{F}$ を考える。

任意の確率分布 $F_{1},\ F_{2} \in \mathbb{F}$ に対して、 $F_{i}$ に従う互いに独立な確率変数を $X_{i}$ とおく (i=1, 2) 。これを $X_{i}\sim F_{i}$ と書く（以下同様）。

このとき、 $X_{1}+X_{2}$ の確率分布Fが $F\in \mathbb {F}$ を満たすならば、分布族 $\mathbb{F}$ は再生性を持つという。

ここで、分布族 $\mathbb{F}$ としては、例えば正規分布の族や二項分布の族などをイメージしておくと良いだろう。実際、これらの分布族は再生性を持つことが知られている[2]。

確率分布族に再生性がある場合、3つ以上の確率変数の和についても同じ分布族に属する確率分布に従う。

確率密度関数の畳み込み

定理の中で登場した確率分布 $F_{1},\ F_{2},\ F$ の確率密度関数をそれぞれ $f_{1},\ f_{2},\ f$ とすると、fは具体的に $f = f_{1} * f_{2}$ と表すことができる。ここで*は畳み込み演算を表す。畳み込み演算は (連続的な値を扱う場合) 以下のように定義される[3]。

$\displaystyle{ (f * g)(x) = \int^{\infty}_{-\infty} f(t)g(x-t) dt }$

最初の疑問への答え

ここで、冒頭で掲げた疑問の答えについて考えてみよう。 $\mathbb{F}$ を再生性を持つ分布族とする。また、確率分布 $F \in \mathbb{F}$ の確率密度関数をfとする。Fに従う独立な確率変数の列 $X_1,\ X_2, \cdots ,\ X_n$ の総和 $S_n = X_1 + X_2 + \cdots + X_n$ が従う確率分布の密度関数は $f * f * \cdots * f$ (fをn個畳み込み) となる。念のため述べておくが、畳み込み演算は結合法則が成り立つので、演算順序を括弧で明示せずとも結果は一意に定まる[3]。

$\mathbb{F}$ の再生性により $f * f * \cdots * f$ が表す確率分布は $\mathbb{F}$ に属する。一方、中心極限定理により $n \to \infty$ のときその累積分布関数は正規分布に近づいていく。つまり、最初の疑問への答えとしては「確率変数の和の累積分布関数は $n \to \infty$ でもあくまで分布族 $\mathbb{F}$ に従うが、同時に正規分布の累積分布関数に限りなく近づいていく」ということである。つまり、再生性と中心極限定理の主張は (当たり前だが) どちらも同時に正しいのである。

例

例として二項分布について考えてみよう。確率変数 $X_1,\ X_2,\ \cdots ,\ X_n$ は互いに独立で、かつ二項分布 $\mathrm{B}(m,\ p)$ に従うとすると、これらの総和 $X_1 + X_2 +\ \cdots + X_n$ は二項分布 $\mathrm{B}(nm,\ p)$ に従う。nがどれだけ大きくなってもこれが二項分布であることに変わりはないが、一方でだんだんと正規分布にも近づいていくのである。

実用上、nが大きくなると $\mathrm{B}(nm,\ p)$ を計算するのは骨が折れる。そのため、近似的に正規分布に従うと考えて、計算を簡略化できたりするようだ[4]。

なぜ累積分布関数？

ここまでの議論では何かと結論を累積分布関数に結びつけてきた。確率・統計素人の私からすると確率密度関数で考えた方が簡単そうに思えるわけだが、なぜ執拗に累積分布関数に言及する必要があったのか？その理由は先ほど引用した中心極限定理のstatementをよく見ると分かる。重要な部分を抜き出してみる。

i.i.d. r.v. 列の和を標準化すると、期待値 0, 分散 1 の正規分布 N(0, 1) に分布収束する。

先ほどはさらりと流したが、ここに登場する「分布収束」という概念が肝である。Wikipedia[5]より定義を引用する。

分布収束

確率変数の列 $X_{1},\ X_{2},\ldots$ が、ある確率変数Xへと分布収束する、あるいは弱収束あるいは法則収束（converge in law）するとは、
$\displaystyle{ \lim _{n\to \infty }F_{n}(x)=F(x), }$
が、Fが連続であるような全ての数 $x \in\mathbb{R}$ に対して成立することを言う。ここで、 $F_{n}$ およびFはそれぞれ確率変数 $X_{n}$ およびXの累積分布関数である。

この定義を見ると分かるように、中心極限定理において正規分布に近づいていくのは累積分布関数であり、確率密度関数ではない。つまり、中心極限定理は確率密度関数については何も教えてくれないので、累積分布関数についてしか議論できないのである。

累積分布関数を微分してはダメか？

しかし、累積分布関数は確率密度関数を不定積分したものなのだから、一見するとどちらで議論しても大差ないような気がしてしまう。つまり、累積分布関数が正規分布のそれに近づくのならば、微分してやれば確率密度関数が得られるので、確率密度関数も正規分布に近づいていくのではないのか？

もしそうだとすると、分散が有限値を取る任意の確率分布の密度関数を無限に畳み込んでやると、それは正規分布の密度関数に近づいていくと言えそうだ。私は先日この事実に思い至り、これはすごいことに気が付いたと喜んだ。

しかし、残念ながらこれは常に正しいとは言えない。Wikipedia[1]の英語版を見ると以下のような記述がある。

Thus the central limit theorem can be interpreted as a statement about the properties of density functions under convolution: the convolution of a number of density functions tends to the normal density as the number of density functions increases without bound. These theorems require stronger hypotheses than the forms of the central limit theorem given above.

つまり、確率密度関数をたくさん畳み込んで正規分布の密度関数に近づくためには、中心極限定理よりも強い仮定が必要だと書かれている。一体なぜそんなことになってしまうのだろうか？

残念ながら、現状ではこの疑問の答えを真に理解するまでには至っていない。この問題にはlocal limit theorem[6]なるものが関係していることまでは分かったが、一朝一夕では理解できなさそうな沼が広がっていることに気付いたので、今回はここで諦めることにした。

ただし、[6]によると密度関数の収束列の中に有界な項が存在する場合は密度関数も正規分布に収束するというような記載がある。そのため、応用上よく扱うような密度関数であれば正規分布に近づいていくと思って差し支えないのだろう。

まとめ

以上、中心極限定理と確率分布族の再生性の関係性について述べた。結論としては、再生性を持つ分布族に属する確率分布に従う確率変数をたくさん足してやると、それはあくまで元の分布族に属する確率分布に従う。そうでありながら、それは同時に正規分布に近づいていくということであった。

また、確率密度関数と累積分布関数に関する微妙な問題について調べた。詳細な理解にまでは至らなかったが、両者の区別を曖昧にしたまま議論を進めると痛い目にあうということが分かった。

今回はネットで調べた情報を中心に記事を書いてみたが、やはり専門書が手元にないとしんどいし、確率論は奥が深くて難しい。いずれ何か本を手にとってじっくりと勉強したい。

参考

[1] 中心極限定理 - Wikipedia
[2] 再生性 - Wikipedia
[3] 畳み込み - Wikipedia
[4]

統計学入門 (基礎統計学?)

作者: 東京大学教養学部統計学教室
出版社/メーカー: 東京大学出版会
発売日: 1991/07/09
メディア: 単行本
購入: 158人クリック: 3,604回
この商品を含むブログ (79件) を見る

[5] 確率変数の収束 - Wikipedia
[6] Local limit theorems - Encyclopedia of Mathematics

2018-05-22

モーメント母関数とTaylor展開の項別微分

統計学

最近、統計学を勉強している。統計学における重要な概念の1つとしてモーメント母関数がある。モーメント母関数とは簡単な計算を施すことで次々と重要な統計量が取得できる便利関数であるが、これは指数関数 $f(x) = e^x$ のTaylor展開と関係がある。本稿ではこれについて疑問に思ったことと、その回答について書いてみる。

なお、あらかじめ述べておくが、本稿は統計学の話と見せかけて、内容はほとんど解析学の話である。

モーメント母関数

定義

まず、モーメントの定義を以下に示す[1]。

モーメント

一般に
$\displaystyle{ \mu_r = E(X^r) }$
を, Xの (原点のまわりの) r次のモーメント moment, または積率といい,
$\displaystyle{ \mu'_r = E(X - \mu)^r }$ (ただし、 $\mu = E(X)$ )
を, Xの期待値 (平均) のまわりのr次のモーメンという.

本[1]は記法が少々分かりづらいが、Xの期待値のまわりのモーメントの式は恐らく $\mu'_r = E\{(X - \mu)^r\}$ を意図しているものと思われる。

続いてモーメント母関数の定義を以下に示す[1]。

モーメント母関数

すべての次数のモーメントを生成するモーメント母関数 moment generating function を
$\displaystyle{ M_X(t) = E(e^{tX}) }$
と定義する. その計算は
$\displaystyle{ M_X(t) = \sum_x e^{tx} f(x) }$ (離散型)
$\displaystyle{ M_X(t) = \int_{-\infty}^{\infty} e^{tx} f(x)dx }$ (連続型)
による.

モーメント母関数からモーメントを取得する

モーメント母関数を使うと面倒な計算をすることなく任意の次数のモーメントを取得することができる。そのためにはモーメント母関数をr回微分して0を代入すれば良い。すなわち、以下の式が成立する。

$\displaystyle{ \mu_r = M^{(r)}_X(0) }$

なぜこうなるのか説明する。まず、 $e^{x}$ のTaylor展開に $x = tX$ を代入すると以下のようになる。

$\displaystyle{ e^{tX} = \sum_{n=0}^{\infty} \frac{(tX)^n}{n!} }$

さらに両辺の期待値を取ると以下のようになる。

$\displaystyle{ \begin{eqnarray} M_X(t) &=& E \left(\sum_{n=0}^{\infty} \frac{(tX)^n}{n!} \right) \\ &=& \sum_{n=0}^{\infty} E \left( \frac{(tX)^n}{n!} \right) \\ &=& \sum_{n=0}^{\infty} \frac{t^n}{n!} E (X^n) \\ &=& \sum_{n=0}^{\infty} \frac{\mu_n}{n!} t^n \end{eqnarray} }$

2つ目の等号は期待値の加法性による*1。上式の両辺をr回微分してみる。

$\displaystyle{ \begin{eqnarray} M^{(r)}_X(t) &=& \left(\sum_{n=0}^{\infty} \frac{\mu_n}{n!} t^n \right)^{(r)} \\ &=& \sum_{n=0}^{\infty} \left(\frac{\mu_n}{n!} t^n \right)^{(r)} \\ &=& \sum_{n=0}^{\infty} \frac{\mu_{n+r}}{n!} t^n \end{eqnarray} }$

あとは $t = 0$ を代入すれば求める式が得られる。

Taylor展開と項別微分

先程の説明の中で、さらりと項別微分を行っていたことにお気づきだろうか？よく知られているように、無限級数はいつでも気軽に項別微分出来るものではなく、常にそれが可能かどうかチェックする必要がある。

ここで私が疑問に思ったのは、Taylor展開によって得られた無限級数はいつでも項別微分可能か？ということである。以下でこれについて調べていこう。

冪級数

Taylor展開によって得られる無限級数は、いわゆる冪級数の形をしている。冪級数とは以下のような形をした級数である[2]。

$\displaystyle{ \sum_{n=0}^{\infty} a_n (x - \alpha)^n }$

ただし、 $x - \alpha$ にxを代入してもこの後の議論はほとんど変わらないので、ここでは以下のような冪級数のみを考える。

$\displaystyle{ \sum_{n=0}^{\infty} a_n x^n }$

項別微分可能条件

一般の無限級数に対する項別微分可能条件を以下に示す[2]。

項別微分可能条件

$\sum a_n(x) = s(x)$ が収束し, $a_n(x)$ が微分可能, $a_n'(x)$ が連続で, $\sum a_n'(x) = t(x)$ が一様に収束するならば,
$\displaystyle{ s'(x) = t(x) }$
すなわち $s(x) = \sum a_n(x)$ が項別に微分される:
$\displaystyle{ \frac{d}{dx} \sum a_n(x) = \sum \frac{d}{dx} a_n(x) }$

Taylor展開によって得られる冪級数の場合、xが収束半径内に収まってさえいれば収束は保証される。また、各項は微分可能であり、各項の導関数も当然連続である。そのため、項別微分可能であるかどうかを知るためには、以下の2点について調べれば良い。

各項の導関数の無限級数、すなわち $\sum_{n=1}^{\infty} n a_n x^{n-1}$ の収束半径は、もとの級数 $\sum_{n=0}^{\infty} a_n x^n$ の収束半径とどういう関係にあるか？
$\sum_{n=1}^{\infty} n a_n x^{n-1}$ は収束半径内において一様収束するか？

以下でそれぞれについて調べてみよう。

無限級数の収束半径

無限級数の収束半径は以下で与えられる[2]。

Cauchy-Hadamardの定理

巾級数 $\sum a_n x^n$ の収束半径rは次の値を有する:
$\displaystyle{ \frac{1}{r} = \varlimsup_{n \to \infty} \sqrt[n]{a_n} }$

$n \to \infty$ のとき $\sqrt[n]{n} \to 1$ となるため、 $\sum_{n=0}^{\infty} a_n x^n$ と $\sum_{n=1}^{\infty} n a_n x^{n-1}$ の収束半径は一致する。

冪級数の一様収束条件

冪級数の一様収束性を考える上では、次のAbelの定理が有効である。

Abelの定理

もしも巾級数 $\sum a_n x^n$ が $x=x_0$ なるとき収束するならば, $|x| < |x_0|$ なるxのすべての値に関して絶対収束し, また領域 $|x| < |x_0|$ に含まれる任意の閉区域において一様に収束する.

ここでちょっとした疑問が生じる。収束半径rに対して、xが収束する区間はよく $|x| < r$ というように開区間として与えられる。一方、上の定理では閉区間での一様収束性を述べており、この定理をどのように適用すれば良いか分かりづらい。この点について少し説明してみる。

$\sum_{n=1}^{\infty} n a_n x^{n-1}$ の収束半径をrとする。また、 $\epsilon$ をrより十分小さい正の数であるとする。一様収束とは、ざっくり言えばある区間において関数値があらゆるxに対して同じように収束していく様子を表す。そのため、ある1つの点において一様収束を考える意味はなく、必ず区間について考える必要がある。

一様収束を考える区間として、ここでは $[-r + \epsilon,\ r - \epsilon]$ に着目してみよう。収束半径はrなので、 $x = \frac{(r - \epsilon) + r}{2}$ の点において $\sum_{n=1}^{\infty} n a_n x^{n-1}$ は収束する。よってAbelの定理により $|x| < \frac{(r - \epsilon) + r}{2}$ に含まれる任意の閉区間において $\sum_{n=1}^{\infty} n a_n x^{n-1}$ は一様収束する。特に、 $[-r + \epsilon,\ r - \epsilon]$ において一様収束する。 $\epsilon \to 0$ の極限をを考えれば、結局 $\sum_{n=1}^{\infty} n a_n x^{n-1}$ は収束半径内において一様収束すると言える。

なお、 $r = \infty$ の場合は若干証明が異なるが、考え方はほとんど一緒である。

以上により、Taylor展開によって得られる冪級数は何回でも項別微分できる事が分かった。

まとめ

本稿ではモーメント母関数に端を発し、Taylor展開によって得られる無限級数の項別微分可能性について述べた。結論として、そのような級数は何回でも項別微分出来ることが分かった。

分かっている人からしてみれば実に当たり前のことかも知れないが、私にしてみればこういう疑問を抱けたこと自体を嬉しく思う。こういう初歩的な事実に対しても常に懐疑的に見る気持ちを忘れずに、これからも数学を学んでいけると良い。

参考

[1]

統計学入門 (基礎統計学?)

作者: 東京大学教養学部統計学教室
出版社/メーカー: 東京大学出版会
発売日: 1991/07/09
メディア: 単行本
購入: 158人クリック: 3,604回
この商品を含むブログ (79件) を見る

[2]

解析概論改訂第3版軽装版

作者: 高木貞治
出版社/メーカー: 岩波書店
発売日: 1983/09/27
メディア: 単行本
購入: 2人クリック: 138回
この商品を含むブログ (42件) を見る

*1:無限級数に対しても加法性がそのまま成立するかどうかは厳密に考える必要があると思われるが、本[1]ではあまり細かいことは書いていなかった。

2018-05-01

幾何平均の使いどころ

統計学

「平均」と言えば、算術平均 (＝相加平均) の他に幾何平均 (＝相乗平均) があるということをご存知の方は多いだろう。算術平均の方は意味が理解しやすく、使われる場面も多いと思われる。一方で、幾何平均はその意味するところが分かりづらく、一体どんな場面で使うべきものなのか、不勉強な私はこれまで知らなかった。せいぜい、高校数学で相加・相乗平均の関係を計算に使ったりする程度で、幾何平均ならではの使いどころというのは理解していなかった。

最近、統計学の本[1]を読み直して幾何平均の使いどころに気づいたので、本稿ではそれを紹介したいと思う。

定義

幾何平均の定義を[1]より引用する。

幾何平均

正数 $x_1,\ x_2,\ \cdots,\ x_n$ の幾何平均 geometric mean $x_G$ は
$\displaystyle{ x_G = \sqrt[n]{x_1 \cdot x_2 \cdot \ \cdots \ \cdot x_n} }$
で定義され, (以下省略)

幾何平均の意味

幾何平均の定義式を少し変形してみよう。

$\displaystyle{ x_G^n = x_1 \cdot x_2 \cdot \ \cdots \ \cdot x_n }$

この式の意味は、平均を計算するのに使用されたn個の数を全て掛け合わせたものは、幾何平均のn乗に等しいということである。つまり幾何平均とは、互いに掛け合わせることに意味があるようなデータに対して、平均的にはどのような数を掛け合わせることに相当するかを示す指標と言える。

例 : 前年度との売上比率

ここまでの話だけ聞くと何だか当たり前のことのような気がしてしまう訳だが、この事実を真に理解するために、1つ例を見て頂きたい。

ある会社の売上高が、2015年度から2016年度にかけて10%増加、2016年度から2017年度にかけて5%増加、2017年度から2018年度にかけて3%増加したとする。この時、2015年度から2018年度にかけて、平均で毎年どれくらい売上が伸びたと言えるだろうか？

ここで試しに算術平均を計算すると以下のようになる。

$\displaystyle{ \frac{1.1 + 1.05 + 1.03}{3} = 1.06 }$

つまり、平均で毎年6%売上が伸びたと言えそうに見える。しかし、実はこれは正しくない。まず、2015年度の売上を1としたとき、2018年度の売上は以下のように計算される。

$\displaystyle{ 1.1 \times 1.05 \times 1.03 = 1.18965 }$

一方、毎年6%売上が伸びたとして計算すると以下のようになる。

$\displaystyle{ 1.06^3 = 1.191016 }$

このように、売上比率に対して算術平均を使ってしまうと、元のデータを用いた場合と計算が合わなくなってしまうのである。

この理由は、ある2つの年度の間の売上比率を計算するには、その間の各年度における前年度との売上比率を掛け合わせる必要があるからである。つまり、前年度との売上比率は掛け合わせることに意味があるデータだからである。

このようなケースこそ幾何平均の出番である。今回のデータに対して幾何平均を計算すると以下のようになる。

$\displaystyle{ \sqrt[3]{1.1 \times 1.05 \times 1.03} \simeq 1.059595 }$

これを3乗すると、当然だが2015年度の売上を1としたときの2018年度の売上に一致する。すなわち、売上比率に対しては算術平均ではなく幾何平均を使うのが妥当であると言える。

まとめ

以上、幾何平均を使うべきケースについて例を交えて説明した。ポイントとしては、幾何平均は掛け合わせることに意味のあるデータに対して使用するということであった。これでもう、平均を計算する際にどちらを使うべきかで迷うことはないだろう。

参考

[1]

統計学入門 (基礎統計学?)

作者: 東京大学教養学部統計学教室
出版社/メーカー: 東京大学出版会
発売日: 1991/07/09
メディア: 単行本
購入: 158人クリック: 3,604回
この商品を含むブログ (79件) を見る

2018-03-07

5次方程式の解を巡る旅〜5次方程式の可解性判定編〜

Galois理論

前回の記事で3次・4次方程式のresolventについて説明した。本稿ではここまでの内容を総括し、5次方程式の可解性判定について述べる。

5次方程式の可解性判定

5次方程式のresolvent

$\mathbb{Q}$ 上の5次多項式 $f(x) = x^5 + a_3 x^3 + a_2 x^2 + a_1 x + a_0$ に対して、方程式 $f(x)=0$ の可解性について考える。議論の流れに大きな影響はないので、f(x)はmonicとしている。

f(x)を良く見ると $x^4$ の項がない。実は任意の多項式は適当な変数変換を施すことで、いつでも最高次より1つ次数の小さい項を消す事ができる[1]。そのため、ここでは最初から4次の項はその変換によって消されたものとして扱う。

まずは3次・4次方程式の場合と同じように、5次方程式にもresolventを考えるところからやってみよう。少々恣意的であるが、位数20のFrobenius群 $F_{20}$ の作用に対して不変となる式について考えてみる。これを自力で思い付くのは難易度が高いが、幸い先人が以下の2つの式を見つけてくれている[2][3]。

$\displaystyle{ \begin{eqnarray} P_1 &=& x_1^2 x_2 x_5 + x_1^2 x_3 x_4 + x_2^2 x_1 x_3 + x_2^2 x_4 x_5 + x_3^2 x_1 x_5 \\ && + x_3^2 x_2 x_4 + x_4^2 x_1 x_2 + x_4^2 x_3 x_5 + x_5^2 x_1 x_4 + x_5^2 x_2 x_3 \\ Q_1 &=& (x_1 x_2 + x_2 x_3 + x_3 x_4 + x_4 x_5 + x_5 x_1 \\ &&- x_1 x_3 - x_3 x_5 - x_5 x_2 - x_2 x_4 - x_4 x_1)^2 \end{eqnarray} }$

ここで、私自身が悩んだポイントについて補足しておく。上記2つの式は様々な文献で見かけるが、これらの間の関係についてはあまり触れられることがない。実はresolvent invariantに適当な対称式を足したり掛けたりしても、resolvent invariantが持つ対称性に変化はない。そのため、resolvent invariantは無数に存在し、 $P_1,\ Q_1$ はどちらもその中の1つに過ぎない。実際、 $4P_1 - Q_1$ は対称式になっているようだ[4]*1。

どちらで考えても同じなので、以下では $P_1$ を利用して議論を進める。 $P_1$ に $S_5$ の元を作用させると異なる6つの式が得られる。 $P_1$ 以外の式を以下に示す[2]。

$\displaystyle{ \begin{eqnarray} P_2 &=& (1\ 2\ 3)P_1 \\ P_3 &=& (1\ 3\ 2)P_1 \\ P_4 &=& (1\ 2)P_1 \\ P_5 &=& (2\ 3)P_1 \\ P_6 &=& (1\ 3)P_1 \\ \end{eqnarray} }$

そのため、resolvent equationは以下のようになる。

$\displaystyle{ (z - P_1)(z - P_2)\ \cdots \ (z - P_6) = 0 }$

以下、上記resolvent equationの左辺を $f_{20}(z)$ とおく。 $f_{20}(z)$ には $P_1$ に $S_5$ を作用させて得られる変化のパターンを全て根に持たせてあるので、 $f_{20}(z)$ の係数は対称式となる。そのため、f(x)の係数を用いて表す事ができる。

Resolventを用いた可解性判定

ここで困ったことがある。3次・4次方程式ではresolvent equationの方が次数が小さかったため、resolvent equationを解くことで元の方程式の解が得られた。しかし、5次方程式から得られたresolvent equationは6次方程式であり、次元が上がってしまっている。こんな式を得たところで、一体どうしたら良いのだろうか？

実は、ここで以下の強力な定理が火を吹く (ただし、本稿の文脈に合わせて記号等を微修正してある) [2]。

5次方程式の可解性判定

The irreducible quintic $f(x) = x^5 +a_3 x^3 +a_2 x^2 +a_1 x + a_0 \in \mathbb{Q}[x]$ is solvable by radicals if and only if the polynomial $f_{20}(z)$ has a rational root. If this is the case, the sextic $f_{20}(z)$ factors into the product of a linear polynomial and an irreducible quintic.

要するに、 $f_{20}(z)$ がただ1つの有理数根を持てば、f(x)は可解になる。これにより、resolvent equationの根を全て求めることが出来ずとも、元の多項式が可解かどうか判定できる。

Galois群とresolventの関係

しかし、この定理だけ見せられても何だか天下り的というか、どういう理屈でこんな事が成り立つのか分からない。そのため、もう少し掘り下げてみよう。

まず、f(x)が可解というのは、 $\mathbb{Q}$ からf(x)の最小分解体への拡大に対応するGalois群が可解群である事を意味する。以下ではこのGalois群を $\mathrm{Gal}(f)$ と書く。 $\mathbb{Q}$ 上既約な5次方程式のGalois群のうち、可解なものは共役を除いて3つしかなく、そのうち位数最大のものはFrobenius群 $F_{20}$ であった。しかも、他の2つは共に $F_{20}$ の部分群である。

そのため、f(x)が可解であるとは、 $\mathrm{Gal}(f) \subset F_{20}$ を意味する。と言いたいところだが、実際には $F_{20}$ には自身を含めて6つの共役な群が存在するので、 $\mathrm{Gal}(f)$ はそのどれかに含まれることになる。

そうなると、 $\mathrm{Gal}(f)$ が $F_{20}$ の共役に含まれる条件が知りたくなる。それを定理の形で述べたものが以下である[5]。

Galois群とresolventの関係

If $\mathrm{Gal}(f)$ is conjugate (in G) to a subgroup of $H = \mathrm{Stab}_G(F)$ , then $\mathrm{Res}_G(F, f)$ has a root in $\mathbb{Z}$ . Furthermore, if $\mathrm{Res}_G(F, f)$ has a simple root in $\mathbb{Z}$ then $\mathrm{Gal}(f)$ is conjugate to a subgroup of $H = \mathrm{Stab}_G(F)$ .

ただし、引用した論文では整数係数の多項式について論じているため、何かと $\mathbb{Z}$ が登場していることに注意されたい。ここは $\mathbb{Q}$ と読み替えても良いだろう。

ここで、Fはn変数の多項式であり、f(x)の根を代入することでresolvent invariantの役割を果たすものである。また、Gは対称群 $S _n$ の部分群、 $\mathrm{Res}_G(F, f)$ は以下の式で定義される。

$\displaystyle{ \mathrm{Res}_G(F, f) = \prod_{\sigma \in G/H} \left(z - F(x_{\sigma(1)}, \cdots , x_{\sigma(n)}) \right) }$

$\mathrm{Res}_G(F, f) = 0$ という方程式はresolvent equationの一般形となっている。

この定理はGに選択の余地があるが、今は $G = S_n$ のケースだけ考えれば十分である。簡易版の定理を以下に示す。

Galois群とresolventの関係 (簡易版)

If $\mathrm{Gal}(f)$ is conjugate to a subgroup of $H = \mathrm{Stab}_{S_n}(F)$ , then $\mathrm{Res}_{S_n}(F, f)$ has a root in $\mathbb{Z}$ . Furthermore, if $\mathrm{Res}_{S_n}(F, f)$ has a simple root in $\mathbb{Z}$ then $\mathrm{Gal}(f)$ is conjugate to a subgroup of $H = \mathrm{Stab}_{S_n}(F)$ .

上記定理のうち特に後半が重要で、これによってGalois群の可能性を絞り込む事ができる。すなわち、 $S_n$ のある部分群Hに対するresolvent invariantを見つけられれば、まずresolvent equationが得られる。そして、それが有理数根を持つかどうかを調べることで、 $\mathrm{Gal}(f)$ がH、もしくはその共役な部分群に含まれるかどうかが分かるのである。最初の定理が述べていたのはまさにこのGalois群の絞り込みの一例なのである。

可解性判定の例

実際に可解性判定をするためには $f_{20}(z)$ の係数を求める必要があるが、幸い[2]に具体的な式が記載されている。いくつか計算してみよう。

例1: $f(x) = x^5 + 4x^2 - 2$

このとき、resolvent equationは以下のようになる。

$\displaystyle{ f_{20}(z) = z^6 + 400 z^4 - 512 z^3 + 40000 z^2 + 68784 z + 65536 }$

これは $\mathbb{Q}$ 上既約なので、f(x)は可解ではない。

例2: $f(x) = x^5 - 5x^3 + 5x + 3$

この例は[6]を参考にさせて頂いた。このとき、resolvent equationは以下のようになる。

$\displaystyle{ f_{20}(z) = z^6 + 40 z^5 + 250 z^4 - 10625 z^3 - 146875 z^2 + 493750 z + 12875000 }$

これは以下のように因数分解できる。

$\displaystyle{ f_{20}(z) = (z - 10)(z^5 + 50 z^4 + 750 z^3 - 3125 z^2 - 178125 z + 1287500) }$

有理数根をただ1つ持つので、f(x)は可解である。

おまけ

交代群と判別式

ここまでの議論で5次方程式の可解性を判定することができた。しかし、これだけではf(x)のGalois群が $F_{20}$ に含まれるかどうかが分かるだけである。もっと問題を広げて、f(x)のGalois群を決定したいと思ったらどうすれば良いだろうか？

今の時点で分かっていることを少し言い換えると、Galois群が $\{S_{5},\ A_{5}\}$ 、または $\{F_{20},\ D_{5},\ C_{5}\}$ のどちらに属するかを判定できたと言える。厳密にはGalois群はこれらと共役な部分群である可能性もあるが、共役というのは根への添字の付け方による変化に過ぎないので、ここでは共役は同一視する。

それぞれをさらに分解するために、 $D_{5},\ C_{5} \subset A_{5}$ という事実に着目する。つまり、Galois群が $A_{5}$ に含まれるかどうかが判定できれば、さらに可能性を絞り込めるのである。

そのためにはやはり上で紹介した定理を使うわけだが、定理を適用するには $A_{5}$ の作用で不変となるresolvent invariantを見つける必要がある。実は判別式と呼ばれる非常に有名な式がこれに関係している。判別式の定義を以下に示す[7]。

差積と判別式

(1) $\delta(x) = \prod_{i < j} (x_i - x_j)$ を $x = (x_1, \cdots , x_n)$ の差積という.
(2) $\Delta(x) = \delta(x)^2$ を $x = (x_1, \cdots , x_n)$ の判別式という.

ただし、これはmonicの場合の式のようだ。最高次の係数が1でない場合の式はWikipedia[8]などを参照されたい。

ここで、差積 $\delta$ は $A_{5}$ のresolvent invariantになっている。 $\delta$ に $S_{5}$ の元を作用させると $\delta$ または $-\delta$ のどちらかになるため、resolvent equationは以下のようになる。

$\displaystyle{ \begin{eqnarray} (z - \delta)(z + \delta) &=& 0 \\ z^2 - \Delta &=& 0 \end{eqnarray} }$

上で述べた定理によると、これが有理数解を持てばGalois群が $A_{5}$ に含まれることになる。言い換えると、 $\sqrt{\Delta} \in \mathbb{Q}$ であればGalois群が $A_{5}$ に含まれる。判別式自体は計算する手法が知られているため、これでGalois群が $A_{5}$ に含まれるかどうかが分かる。あとは同様にして $D_5,\ C_5$ を区別してやれば良い。

このように、上述の定理を繰り返し用いることで、多項式のGalois群を決定することができる。ただし、そのためには着目する群のresolvent invariantを求める必要があり、次元が大きくなるとそれが困難になると思われる。

超越的な解法について

ここまで、5次方程式の解を四則演算とべき根のみを使って表せる条件を考えてきた。しかし、これはかなり限定的な状況であるという点はハッキリと意識しておく必要があるだろう。実際、超越的な操作を許すことで、次元がどれだけ大きな方程式でも解を求められる事が知られている[3]。

まとめ

以上、5次方程式の可解性判定法について述べた。その中で、resolventとGalois群の間の関係を明らかにした。今回の調査を通して、Galois群がずっと身近に感じられるようになったのは大きな収穫であった。

本当は実際に5次方程式の解を求めるところまでやりたかったし、超越的な解法にも踏み込んでみたかった。しかし、残念ながら人生の時間は有限である。他の勉強との優先度を考え、5次方程式の解を巡る旅は一旦終えることにする。

もし今後この話題を再び取り上げる機会があれば、その時はまた良い旅ができることを願っている。

参考

[1] http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/0848-01.pdf
[2] http://www.cem.uvm.edu/~dummit/quintics/solvable.pdf
[3] 五次方程式 - Wikipedia
[4] http://www.mast.queensu.ca/~wehlau/Fredericton/Grosshans.pdf
[5] http://www.alexhealy.net/papers/math250a.pdf
[6] http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/0848-01.pdf
[7]

代数学2　環と体とガロア理論

作者: 雪江　明彦
出版社/メーカー: 日本評論社
発売日: 2010/12/07
メディア: 単行本（ソフトカバー）
購入: 2人クリック: 14回
この商品を含むブログを見る

[8] 判別式 - Wikipedia

*1:これをWolframAlphaで愚直に計算してみたところ、めちゃくちゃ時間がかかった挙げ句にエラーになってしまった。[4]の著者がどうやって $P_1,\ Q_1$ の間の関係を見出だしたのかが気になる。