# ベルヌーイ試行の繰り返し
###### tags: `probability-theory`
## ベルヌーイ試行を繰り返す

ベルヌーイ試行を繰り返すことを考える。1回目のベルヌーイ試行を$X_1$、2回目のベルヌーイ試行を$X_2$と表すと、繰り返しに応じて添え字が増えていく。ベルヌーイ試行を、試行の順序通りに並べると
$$
X_1, X_2, \ldots, X_i, \ldots
$$
となる。$i$番目のベルヌーイ試行を$X_i$と記す。数列の一般項のようなものだが、添え字がある以外はすべて、同じ試行が並んでいる。

これらの試行は、互いに独立に同一の試行が繰り返されているものとする。コイン投げを繰り返す時には、投げ終えたコインを拾い、同じポジションに戻ってからまた投げる。受験を繰り返すのであれば、同じ学力のまま、テストだけが新しくなる想定でまた受験する。天気であれば、同じ気圧配置、同じ雲の配置が朝に繰り返される想定で、また予想する。

## ベルヌーイ試行の繰り返しを止める

試行の繰り返しはいつか、止めなければならない。確率論の序盤で興味のある止め方は、次の3通りである。

1. あらかじめ定めた$n$回の試行を終えたら、繰り返しを止める。
2. $1$回成功したら、試行の繰り返しを止める。
3. $r$回成功したら、試行の繰り返しを止める。

## 総試行回数$n$を固定する場合(二項試行)

一つ目の止め方では、試行回数が予め決まっているので、成功回数
$$
X_1+X_2+\cdots+X_n
$$
を数える。
$$
Y=X_1+X_2+\cdots+X_n
$$
のモーメントは、それぞれのモーメントの和になる。
$$
\begin{align}
E\left[Y\right]
&= E\left[X_1\right] + E\left[X_2\right] + \cdots + E\left[X_n\right] \notag \\
&= np
\end{align}
$$
分散も共分散が$0$なので、分散の和になる。
$$
\begin{align}
V\left[Y\right]
&= V\left[X_1+X_2+\cdots+X_n\right] \notag \\
&= V\left[X_1\right] + V\left[X_2\right] + \cdots + V\left[X_n\right] + 2 \sum_{i=1}^{n-1} \sum_{j=i+1}^n Cov\left[X_i, X_j\right]\notag \\
&= V\left[X_1\right] + V\left[X_2\right] + \cdots + V\left[X_n\right] \\
&= np\left(1-p\right)
\end{align}
$$
モーメント母関数はそれぞれのモーメント母関数の積になる。
$$
\begin{align}
M_Y\left(t\right)
&= M_{X_1}\left(t\right)M_{X_2}\left(t\right)\cdots M_{X_n}\left(t\right) \notag \\
&= \left(1-p+pe^t\right)^n
\end{align}
$$

総試行回数$n$を固定してベルヌーイ試行を互いに独立に繰り返したうちの、成功回数$Y$の確率関数は次のように導かれる。成功回数が$y$のすべての場合の確率の和を求める。

$$
\begin{align}
\sum_{x_1+x_2+\cdots+x_n=y} \prod_{i=1}^n p^{x_i}\left(1-p\right)^{1-x_i}
&= \sum_{x_1+x_2+\cdots+x_n=y} p^{\sum_i x_i} \left(1-p\right)^{n-\sum_i x_i} \notag \\
&= \sum_{x_1+x_2+\cdots+x_n=y} p^{y} \left(1-p\right)^{n-y} \notag \\
&= {}_n C_y p^{y} \left(1-p\right)^{n-y} \notag \\
&= \frac{n!}{y!\left(n-y\right)!} p^{y} \left(1-p\right)^{n-y} \notag
\end{align}
$$

この確率関数を持つ確率分布を、二項分布という。二項分布に関する計算は、別の機会に譲る。

## 成功回数を$1$に固定する場合(幾何試行)

二つ目の止め方では、成功回数が決まっているので、試行回数$N$を数える。
$$
N_1=\arg\inf_n \left\{X_1+X_2+\cdots+X_n=1\right\}
$$

確率変数$N_1$は、$1$回成功するまでの総試行回数とする。この確率変数については、確率関数を先に導く。総試行回数が$k$回のときに1回目の成功があるという事象
$$
\left\{N_1=k\right\}
$$
は、$k-1$回連続して失敗し、$k$回目に初めて成功したことを意味する。各試行で表すと
$$
\left\{X_{1}=\cdots=X_{k-1}=0, X_k=1\right\}
$$
となる。試行が互いに独立ならば、この事象の確率は
$$
p\left(k\right) = \mathrm{Pr}\left[N_1=k\right] = \left(1-p\right)^{k-1}p
$$
である。この確率関数を持つ確率分布を、幾何分布という。確率が
$$
p, \,\, p\left(1-p\right),\,\, p\left(1-p\right)^2, \ldots
$$
のように初項が$p$、公比が$1-p$の幾何数列となっていることに由来する。幾何数列は等比数列ともいう。

幾何分布に関する計算も、別の機会に譲る。

## 成功回数を$r$に固定する場合(負の二項試行)

三つ目の止め方でも、成功回数が決まっているので、試行回数$N$を数える。
$$
N_r=\arg\inf_n \left\{X_1+X_2+\cdots+X_n=r\right\}
$$

確率変数$N_r$は、$r$回成功するまでの総試行回数とする。この確率変数については、確率関数を先に導く。総試行回数が$k$回のときに$1$回目の成功があるという事象
$$
\left\{N_r=k\right\}
$$
は、$k-1$回目までに$r-1$回成功していて、$k$回目に初めて$k$回目の成功があったことを意味する。

$i$回目の試行までの成功回数を$Y_i$と置くと、これはそこまでの試行の総和
$$
Y_i = X_1 + X_2 + \cdots + X_i
$$
に等しい。$\left\{N_r=k\right\}$という事象を$Y_i$を用いて表すと、
$$
\left\{Y_1<r, Y_2<r, \ldots, Y_{k-1}<r, Y_{k}=r\right\}
$$
となる。$r=1$を代入してみると、
$$
\left\{Y_1<1, Y_2<1, \ldots, Y_{k-1}<1, Y_{k}=1\right\}
$$
のように、$k$回目の試行で初めて$Y$が$1$となっていて、ここで初めて成功したことを表現できている。

ところで、$r$回成功するまでの総試行は、$1$回成功するまでの試行の繰り返しを、さらに$r$回繰り返すことと等しい。
ここで、ベルヌーイ試行を$1$回成功するまで繰り返して成功したら止める試行を定義する。

$$
N_1 = \arg\inf_n \left\{X_1+X_2+\cdots+X_n=1\right\}
$$

この試行を幾何試行と呼ぶ。幾何試行の$r$回の繰り返しを
$$
N_{1,1}, N_{1,2}, \ldots, N_{1,r}
$$
と置くと、これらは互いに独立に幾何分布に従う確率変数となる。そして、
$$
N_r = N_{1,1}+N_{1,2}+\cdots+N_{1,r}
$$
となる。これより、$N_r$が従う確率分布は同一の幾何分布に従う確率変数の和の分布に等しい。

確率変数$N_r$の確率分布は、この事実を用いて導かれる。その確率分布を負の二項分布という。

負の二項分布に関する確率計算の詳細も、別の機会に譲る。

## 数える回数

上の説明では、二つ目の止め方と三つ目の止め方で、総試行回数を数えた。幾何分布の確率関数
$$
p\left(k\right) = \mathrm{Pr}\left[N_1=k\right] = \left(1-p\right)^{k-1}p
$$
が、$k-1$回連続して失敗してから、$k$回目に成功する確率であることから、失敗した回数$M$を数えても良い。

幾何試行について、両者は
$$
M_1 = N_1-1
$$
の関係にある。また負の二項試行についても、両者は
$$
M_r = N_r-r
$$
の関係にある。これらより、幾何試行では両者の平均は成功回数分の$1$だけ差がある
$$
E\left[M_1\right]=E\left[N_1\right]-1
$$
が、分散は等しい。
$$
V\left[M_1\right]=V\left[N_1\right]
$$
負の二項試行でも、平均は成功回数分の$r$だけ差がある
$$
E\left[M_r\right]=E\left[N_r\right]-r
$$
が、分散は同様に等しい。
$$
V\left[M_r\right]=V\left[N_r\right]
$$