# Function Space - Arzela-Ascoli Theorem

實數中，有界的數列存在收斂子序列。那麼函數空間是不是也有類似的性質？會，但是這個函數的序列必須滿足一些條件。

## Equicontinuous

:::warning
**Def (Equicontinuous)**
假定：
$$
E = \{f:f\text{ is a function}\}
$$
是個函數的集合。並且這個集合中的函數滿足：
$$
\begin{align}
\forall& \epsilon > 0.\exists \delta > 0.\newline
& \bbox[yellow]{\forall f \in E}.|x - y| < \delta \Rightarrow |f(x) - f(y)| < \epsilon
\end{align}
$$
那麼就稱這個集合是 *equicontinuous*
:::

直覺的看法是：同一個 $y$ 附近，一個函數的 $\delta$ 可以給 $E$ 裡面的所有其他函數用。

而很明顯 *equicontinuous* 是一個比函數各自連續還要嚴的條件：假定 $E$ 是一個 *equicontinuous* 的函數集合，那麼裡面的所有函數都會均勻連續。

:::danger
**Lemme (有限的連續函集必等度連續)**
假定：
$$
E = \{f_1 \dots f_M\} \subset C^0[a, b]
$$
則 $E$ 必定 *equicontinuous*
:::

因為裡面每個函數都連續，所以對於任意 $y \in [a, b]$，都存在 $\delta_i$ 使得：

$$
|x - y| < \delta \Rightarrow |f_i(x) - f_i(i)| < \epsilon \quad \forall i = 1 \dots M
$$

那取：

$$
\delta = \min\left(\{\delta_i\}_{i = 1}^M\right)
$$

這個 $\delta$ 就可以達成 *eqicontinuous* 了。

## Arzela-Ascoli Propogation Theorem

:::danger
**Thm (Arzela-Ascoli Propogation Theorem)**
假定 $\{g_j\}$ 是 *equicontinuous*，$Q\subset [a, b]$，且：

$$
\forall d \in Q.\{g_j(d)\}\text{ converges}
$$

則 $\{g_j\}$ 均勻收斂。
:::

這個函數序列只在一個 *dense* 可數集上逐點收斂，為什麼這樣就保證能夠在整個區間上均勻收斂？這是因為有 *equicontinuous* 的關係。

因為 *equicontinuous* 保證 *continuous*，所以這坨數列都是連續函數。連續函數的空間是完備的，所以目標就是 $\{g_j\}$ *Cauchy*。當 $m, n$ 都夠大時：

$$
|g_m(x) - g_n(x)| < \text{small}
$$

>雖然沒有 $g_m(x)$ 跟 $g_n(x)$ 的距離，但現在有一個 *countable dense subset*。既然 *dense*，那麼任意小的區間，都會包到這個集合裡面的元素，隨便抓一個 $d$ 好了。而函數序列又在這些元素上收斂，因此就可以用 *countable dense subset* 中的點做跳板，先從 $g_m(x)$ 到 $g_m(d)$，再從 $g_m(d)$ 到 $g_n(d)$，然後用 *equicontinuous* 走到 $g_n(x)$。

給定 $\epsilon > 0$ 。對於任意 $x$，$|t - x| < \delta$ 時，有：

$$
|g_i(t) - g_i(x)| < \epsilon \quad \forall i
$$

因為這個序列 *equicontinuous*，這樣一個每個函數都通用的 $\delta$ 必定存在。接著，因為 $Q$ 在 $[a, b]$ 中 *dense*，所以存在 $d\in Q$，使得 $d \in [x-\delta,x + \delta]$。接著把這個 $d$ 當作橋樑：

1. $g_m(x)$ 離 $g_m(d)$ 很近：

因為剛剛就是拿保證連續的 $\delta$ 去造 $[x-\delta, x + \delta]$ 這個集合找到 $d$ 的。
$$
|g_m(x) - g_m(d)| < \epsilon
$$
2. $g_m(d)$ 跟 $g_n(d)$ 可以很近：

因為 $\{g_j(d)\}$ 收斂，所以他 *Cauchy*。因此存在 $N$，使得 $m, n > N$ 時：
$$
|g_m(d) - g_n(d)| < \epsilon
$$
3. $g_n(d)$ 跟 $g_n(x)$ 很近：

因為 *equicontinuous*，所以給 $g_m$ 用的 $\delta$ 在這邊也可以給 $g_n$ 用。因此：
$$
|g_n(d) - g_n(x)| < \epsilon
$$

因此，套用三角不等式：

$$
\begin{align}
|g_m(x) - g_n(x)| &\leq \underbrace{|g_m(x) - g_m(d)|}_{<\ \epsilon} + \underbrace{|g_m(d) - g_n(d)|}_{<\ \epsilon} + \underbrace{|g_n(d) - g_n(x)|}_{<\ \epsilon} \newline
&< 3\epsilon
\end{align}
$$

因為對於任意 $x$，在上述的 $m, n$ 及 $\delta$ 的狀況下，都會成立。因此 $\epsilon$ 是一個 $|g_m(x) - g_n(x)|_{x\in[a, b]}$ 的上界，故：

$$
|g_m - g_n| = \sup_{x\in[a, b]}|g_m(x) - g_n(x)| < 3\epsilon
$$

所以 $\{g_j\}$ 均勻收斂。更進一步，因為均勻收斂保連續，所以這個收斂到的函數也是連續的。

## Arzela-Ascoli Theorem

:::danger
**Thm (Arzela-Ascoli Theorem)**
假定一個有界的函數數列 $\{f_n\}$ *equicontinuous*，則這個函數序列存在 $(C^0[a, b], d_{sup})$ 上面的收斂子序列。
:::

> 這個證明是有點建構性的。建構這個收斂的函數子序列的過程如下：

首先，選定一個 $[a, b]$ 上 *dense* 的可數集 $Q$ (比如：令 $Q$ 為 [a, b] 中所有的有理數)。因為 $Q$ 可數，故可令：

$$
Q = \{d_i\}_{i = 1}^{\infty}
$$

> 接下來會要構造一堆序列。這邊上標 $j$ 表示第 $j$ 序列。所以 $\{f_k^j\}$ 就表示「第 $j$ 個數列」

令：

$$
\{f_n\}^{(i)} = \begin{cases}
\{f_n\} & \text{if }j = 0 \newline
\{f_{n_{j}}\}^{(i-1)}\text{ where }\{f_{n_{j}}\}^{(i-1)} \text{ is a convergence subsequence} \newline
\quad\text{of }\{f_{n}(d_i)\}^{(i-1)} \text{ gauranteed by Bolzano–Weierstrass Theorem}& \text{otherwise}\
\end{cases}
$$

> 雖然看起來有點難懂。不過大致是照下面這個過程建構出這堆數列：
>
> 1. 把 $d_1$ 到 $\{f_n\}$ 中，那麼將會形成一個數列：
>
> $$
> \{f_n(d_i)\}
> $$
>
> 2. 因為 $\{f_n\}$ 中所有的函數都是有界的，所以這個帶進去之後，形成的實數上的數列也是有界的，因此存在收斂子序列。即存在子序列 $\{f_{n_j}(d_1)\}$，使得：
>
> $$
> \{f_{n_j}(d_1)\} \subset \{f_n(d_1)\}
> $$
> 且
> $$
> \{f_{n}\}^{(1)} := \{f_{n_j}\} \subset \{f_n\} \quad \text{converges at }d_1
> $$
>
> 3. 這時，把 $d_2$ 帶進 $\{f_{n}\}^{(1)}$ 中。因此又形成了一個有界的數列：
> $$
> \{f_{n}(d_2)\}^{(1)}
> $$
> 4. 再度利用有界數列存在收斂子序列，可以從這個數列中再一次挑出收斂子序列。令這個有界子序列叫做 $\{f_n\}^{(2)}$
> $$
> \{f_n\}^{(2)} := \{f_{n_j}(d_2)\}^{(1)} \subset \{f_{k}(d_2)\}^{(1)}
> $$
>
> 且這時 $\{f_n\}^{(2)}$ 有：
>
> $$
> \{f_{n}\}^{(2)} \subset \{f_{k}\}^{(1)} \subset \{f_n\} \quad \text{converges at }d_1, d_2
> $$
>
> 一直重複上述的過程。做到第 $k$ 步時，就會得到 $\{f_n\}^{(k)}$，且 $\{f_n\}^{(k)}$ 既有以下性質：
>
> $$
> \{f_{n}\}^{(k)} \subset\dots \{f_{n}\}^{(1)} \subset \{f_n\}^{(0)} = \{f_n\} \quad \text{converges at }d_1, d_2, \dots d_k
> $$
> 這個構造序列的方式可知：上標大的函數，屬於所有上標比他小的子序列。這個觀察接下來會用到。

接著把「第 $i$ 個子序列的第 $i$ 個函數」抓出來湊成一個新的函數的數列：

$$
\{g_i\} = \{f_{i}^{(i)}\} = \{f_{1}^{(1)}, f_2^{(2)}, f_3^{(3)}, \dots\}
$$

接下來宣稱：$\{g_i\}$ 可以在任意的 $d_m \in Q$ 收斂。這樣一來就可以用 *Arzela-Ascoli Propogation Theorem* 讓他均勻收斂。

對於任意的 $d_m \in Q$，只要把 $\{g_i\}$ 前 $m$ 項砍掉。「上標大的函數，屬於所有上標比他小的子序列」。故，對於 $\{g_i\}$ 有：

$$
\{g_j\}_{j = m}^{\infty} = \{f_{m}^{(m)}, f_{m + 1}^{(m+1)}, f_{m + 2}^{(m+2)}\dots\} \subset \{f_k^{(m)}\} \text{ conv. at }d_1, d_2 \dots d_m
$$

因此，$\{g_i\}_{i = m}^{\infty}$ 在 $d_1$, $d_2$...$d_m$ 都收斂。但砍掉前面有限項，不影響原數列的斂散性。故 $\{g_j\}$ 在 $Q$ 中每一點逐點收斂。

進一步由 *Arzela-Ascoli Propogation Theorem*，$\{g_i\}$ 在 $Q \subset [a, b]$ 逐點收斂，且 $Q$ 在 $[a, b]$ 中 *dense*，因此 $\{g_i\}$ 均勻收斂的序列。而由前面知道 $\{g_i\} \subset \{f_n\}$，所以他就是 $\{f_n\}$ 的收斂子序列。由此得證。

## Heine-Borel in Function Space

:::danger
**Thm (Heine-Borel Theorem)**
假定：
$$
E \subset C^0([a, b], \mathbb R)
$$
則：
$$
\begin{align}
&E \text{ is $\mathbf{bounded, closed}$ and $\mathbf{equicontinuous}$} \newline
&\iff E \text{ is }\mathbf{ compact}
\end{align}
$$
:::

「$\Rightarrow$」大致上就是上面那個定理的證明，只有一個細節是這個收斂子序列會不會收斂到 $E$ 裡面，不過前提給了 $E$ 是 *closed*，所以這個問題就解決了。

「$\Leftarrow$」的證明利用「*compact* 且母空間完備，則 *closed* 且 *totally bounded*」。所以 *closed* 跟 *bounded* 就解決了。

剩下 *equicontinuous*，這個需要借助 *totally bounded* 的定義，也就是「給定任意 $\epsilon$，都存在有限個 $f_i \in E$，使得以這些元素為中心的 $\epsilon$-ball 包住這個集合」，也就是：

$$
\forall \epsilon.\exists f_1 \dots f_N \in E.E \subset \bigcup_{i = 1}^{N}B(f_i, \epsilon)
$$

換句話說，給定一個 $f \in E$，那麼存在一個 $f_k$

$$
f_k \in A := \{f_1 \dots f_N\}
$$

使得：

$$
|f - f_k| < \epsilon
$$

另外一方面，因為 $A$ 是有限的連續函數的集合，所以必定 *equicontinuous*。因此當 $\epsilon$ 給定之後，取 $A$ *equicontinuous* 保證的那個 $\delta$。那麼當 $|x - y| < \delta$ 時，有：

$$
\begin{align}
|f(x) - f(y)|
&\leq |f(x) - f_k(x)| + |f_k(x) - f_k(y)| + |f_k(y) - f(y)|\newline
&\leq |f - f_k| + |f_k(x) - f_k(y)| + |f - f_k| < 3\epsilon
\end{align}
$$

因此，這個 $\delta$ 對於任意 $f \in E$ 都能使 $|f(x) - f(y)| < 3\epsilon$。由此得證 $E$ 是 *equicontinuous* 的。