# 確率論ノート
###### tags: `probability-theory`

確率論は次のような書の存在に基づいて、構築される。

* この書の表紙には「○の書」と記されている。
* この書の各ページは、事象が記されている。
* 事象とは、起こり得る可能性のある事物である。
* 事象は、ひとつ以上の要素を含むように記述される。
* 要素とは、事象を構成する単位である。
* 要素の索引は、書の巻末にある。
* 書の作成に用いられたすべての要素の一覧が、索引である。
* 神は確率法則を定め、定めた法則に従って、この書を開く。
* 神がこの書を開くと、そこに記されていることが生じる。

この書は、集合論で学んだ加法性がなりたつように、書かれている。

* ある２つのページに記された事象同士の和集合(OR、または)に対応するページが、必ず存在する。

このように書を書けば、索引に記された各要素に確率を定めると、事象が記されたすべてのページに確率を定めることができる。このことが、コルモゴロフの公理によって成立する。

同じことを、集合論の言葉で記すと、次のように短くなる。

* 起こり得るすべての事象を記述するのに必要な要素の一覧を、標本空間という。
* 標本空間の部分集合を事象という。
* 確率を定めたいすべての事象、そして事象同士のすべての和集合が含まれる一覧を、加法族という。
* 確率は標本空間の加法族に対して与える。
* 要素に確率を定めると、加法族に含まれているすべての事象に確率が定まる。

標本空間が書の索引、事象が書のページ、加法族が書、である。

以上を言い換える。確率を計算したい事象が必ず含まれているように、事象の辞書を作ると、すべての事象を構成する単位に与えることで、辞書に記されているすべての事象に確率の定まることを利用して、確率論は構築される。確率を計算したい事象は互いに、加法性を満たすように定める。

確率論でよく現れる索引は、整数列、数直線、X-Y平面などである。要素の数が有限個または可算無限個の場合は確率関数で与える。非可算無限個の場合は、積分して確率が求まる確率密度関数で与える。

### 関係図

[確率論の項目の整理](https://hackmd.io/@watalu/SyKZQk0Zh)

## 半期コース

セメスター制の大学の工学系の学部で、ある学期に確率論だけを教える場合の、一つの説明の仕方。一つ前の学期までに次の科目が既習得であることを前提とし、次の学期に統計学や他の確率論を基礎とする科目を学び、それらで確率に関する計算ができる必要があることを想定している。

* 高校までの数学科目 (確率に関する単元、等比数列と等差数列)
* 微積分 (基礎解析と呼ばれる範囲ぐらい)
* 線形代数 (ベクトルと行列と積と逆行列ぐらい)
* 離散数学 (集合、証明論、順列と組み合わせ、ぐらい)

そのため出発点がコルモゴロフの公理の説明であり、その後に集合に対して与えられた確率に関する加法法則と乗法法則、従属と独立、ベイズの定理が続く。その後に、標本空間が1次元ユークリッド空間の場合を考えて、確率関数や確率密度関数による確率分布の表現を与えて、確率に関する計算、期待値の計算、確率分布の特徴量としてのモーメントと説明していく。また、具体的な確率分布を提示していないままに、確率に関する不等式、大数の法則、中心極限定理を説明する。これらの後に、具体的な確率分布モデルの紹介が1次元のモデル、多次元のモデルと続く。

このコースで除外した項目は多い。ここでは、確率変数列は互いに独立に同一の確率分布に従う場合のみを扱った。そのため

* 確率変数(確率ベクトル)が互いに独立でない場合
* 確率過程全般

これらは工学系の２年生で学ぶには、高度な話題としてあまり含めなかった。また、

* 測度論的確率論

も工学系で学ぶ必要が将来に生じる学生は一部だろうと考えて、含めていない。期待値の定義にスティルチェス積分を用いたくなる誘惑に抗い、すべてリーマン積分か総和で定めてある。

### 数学の復習

* [集合論1](https://hackmd.io/@watalu/rklXT6eG3), [集合論2](https://hackmd.io/@watalu/SJLkUzfGn)
* [初等解析](https://hackmd.io/@watalu/HkQlSiJG2)
* [線形代数](https://hackmd.io/@watalu/B1T-lH742)

### 確率論 (次元なし)

* [標本空間と事象と加法族](https://hackmd.io/@watalu/rkGRjmzMn), この箇所のスライド
* [確率の定義と算法](https://hackmd.io/@watalu/SyyeL4MG2), [確率の様々な表現](https://hackmd.io/@watalu/SJ9y947Q3)
* [従属と独立](https://hackmd.io/@watalu/HkKVU5tMn)
* [ベイズの定理](https://hackmd.io/@watalu/S1jJUpnMn)
* 確率の意味

### 確率論 (1次元)

* [標本空間のユークリッド空間への埋め込みと確率分布の関数表現](https://hackmd.io/@watalu/rkyJxntfh)
* [ユークリッド空間に埋め込まれた標本空間](https://hackmd.io/@watalu/SJU5pvq0s)
* [確率関数と期待値](https://hackmd.io/@watalu/r1c7KzGM2)
* [確率密度関数と期待値](https://hackmd.io/@watalu/Sk1er7Mzn)
* [期待値](https://hackmd.io/@watalu/S16Ew0xf3)
* [期待値を定める前と定めた後の違い](https://hackmd.io/@watalu/HyrwLWMfh)
* [期待値とモーメント](https://hackmd.io/@watalu/S1meH4Bvh)
* [確率分布の特徴](https://hackmd.io/@watalu/ryezj-HG3)、[もう少し長い説明](https://hackmd.io/@watalu/rkMnTC0Q3)
* [モーメント母関数、特性関数、キュムラント母関数](https://hackmd.io/@watalu/SJM9jiHEn)
* [確率に関する不等式](https://hackmd.io/@watalu/rJBFebfz2) (Markovの不等式、Chebyshevの不等式)
* [期待値に関する不等式](https://hackmd.io/@watalu/r1u3L2XNh) (Jensenの不等式、Cauchy-Schwartzの不等式)
* [二つの確率変数の和の分布](https://hackmd.io/@watalu/ryjoc2bEn) (たたみ込み)
* [合計の分布と平均の分布](https://hackmd.io/@watalu/HJFlLWbMn)、[確率分布の極限](https://hackmd.io/@watalu/rJNQ7ZGGn)
* 極値理論

### 確率モデル (1次元)

* [ベルヌーイ試行とベルヌーイ分布](https://hackmd.io/@watalu/HysSEqsbh)
* [ベルヌーイ試行の繰り返し](https://hackmd.io/@watalu/H1q7E4RW3)
* [二項分布](https://hackmd.io/@watalu/Syzp6Lef3)
* [幾何分布](https://hackmd.io/@watalu/Sk_mbKefn)
* [負の二項分布](https://hackmd.io/@watalu/BygnuKlMn)
* [ベルヌーイ試行の繰り返しの極限(ポアソン試行と幾何試行)](https://hackmd.io/@watalu/rJPnEVjG2)
* [ポアソン分布](https://hackmd.io/@watalu/By455PxM3)
* [ポアソン試行の繰り返し](https://hackmd.io/@watalu/B1Yv_LMNn)
* [指数分布](https://hackmd.io/@watalu/BJtSZLAZ3)
* [指数試行の繰り返し(ガンマ試行)](https://hackmd.io/@watalu/SJCEMTxGn)
* [ガンマ分布](https://hackmd.io/@watalu/S12oFFezh)
* [正規試行(中心極限定理)](https://hackmd.io/@watalu/SJtVMMfNh)
* [正規分布](https://hackmd.io/@watalu/Hk19bOgz2)
* [正規分布の繰り返し](https://hackmd.io/@watalu/Hy--YT2X2)
* [確率変数の変換](https://hackmd.io/@watalu/Bk5JV23Gn)
* [正規分布の指数変換(対数正規分布)](https://hackmd.io/@watalu/HJTOBnb4n)
* [指数分布のべき変換(ワイブル分布)](https://hackmd.io/@watalu/rJm4LXXVh)
* [正規分布の比の分布](https://hackmd.io/@watalu/HyhzpQQEh)
* 離散一様分布
* 連続一様分布

1次元の確率モデルを学んだら、できるようになって欲しいこと。

* 現象を確率変数と確率分布でモデル化できる
* 評価したい指標の性質(分布の平均や分散など)を計算できる
* 現象が複数回繰り返される時の指標の性質(分布)を検討できる

### 標本分布 (統計学に現れる確率分布)

* $\chi^2$分布
* $t$分布
* $F$分布
* 非心$\chi^2$分布
* 非心$t$分布
* 非心$F$分布

### 確率論 (多次元)

* [多変量の連続分布](https://hackmd.io/@watalu/HyosAn7V2)
* [多変量の離散分布](https://hackmd.io/@watalu/r1QLqwNNh)
* [確率ベクトルの変換](https://hackmd.io/@watalu/r1wTKpxN2)

### 確率モデル (多次元)

* [多項分布](https://hackmd.io/@watalu/SkV9wFGEn)
* [多変量正規分布](https://hackmd.io/@watalu/HySocFGVh)
* 楕円分布
* コピュラ

## 確率論ブートキャンプ

エッセンスだけを短期的に学びたい人向けに、数学的な詳細を省いたノート。

* 標本空間と事象
* 確率関数で表される確率分布モデル
* 確率密度関数で表される確率分布モデル
* 確率変数列

こちらは今後、執筆予定。

## このノートの起草に参考にさせていただいた書籍 (出版順)

* ラオ 「統計的推測とその応用」. (初めて読んだ確率統計の本)
* Kai-Lai Chang (1974) "A Course in Probability Theory", Second Edition, Academic Press. (初めて竹村先生から確率論を教わった際の教科書)
* 鷲尾泰敏 (1983)「日常のなかの統計学」. (初めて習った確率統計の本)
* 小寺平治 (1986) 「明解演習 数理統計」. (初めて、分からなかったときに頼った本)
* 永田靖 (2005) 「[統計学のための数学入門30講](https://www.asakura.co.jp/detail.php?book_code=11633)」, 朝倉書店. (確率論や統計学に現れる計算の詳細を記した書籍)
* 久保木久孝 (2007) 「確率・統計解析の基礎」, 朝倉書店. (確率論の成り立ちを学部2, 3年に向けて構築的に解説した良書)
* 大平徹 (2017) 「[確率論 講義ノート 場合の数から確率微分方程式まで](https://www.morikita.co.jp/books/mid/007771)」, 森北出版. (読者が理解できることを意識して計算の詳細を丁寧に記したことに感銘を受けた2冊目の書籍)

## より発展的な話題のための参考書

* フェラー () 「確率論とその応用」 (この確率論ノート全般を超える範囲を扱っている大著)