Function Space - Arzela-Ascoli Theorem

實數中，有界的數列存在收斂子序列。那麼函數空間是不是也有類似的性質？會，但是這個函數的序列必須滿足一些條件。

Equicontinuous

Def (Equicontinuous)
假定：

$$E=\{f:f\text{ is a function}\}$$
是個函數的集合。並且這個集合中的函數滿足：

$$\begin{array}{rl}\mathrm{\forall }& ϵ>0.\mathrm{\exists }\delta >0.\\ & \text{bbox}[yellow]\mathrm{\forall }f\in E.|x-y|<\delta \Rightarrow |f(x)-f(y)|<ϵ\end{array}$$
那麼就稱這個集合是 equicontinuous

直覺的看法是：同一個

$y$ 附近，一個函數的

$\delta$ 可以給

$E$ 裡面的所有其他函數用。

而很明顯 equicontinuous 是一個比函數各自連續還要嚴的條件：假定

$E$ 是一個 equicontinuous 的函數集合，那麼裡面的所有函數都會均勻連續。

Lemme (有限的連續函集必等度連續)
假定：

$$E=\{f_1\dots f_M\}\subset C^0[a,b]$$
則

$E$ 必定 equicontinuous

因為裡面每個函數都連續，所以對於任意

$y\in [a,b]$，都存在

${\delta }_i$ 使得：

$$|x-y|<\delta \Rightarrow |f_i(x)-f_i(i)|<ϵ\mathrm{\forall }i=1\dots M$$

那取：

$$\delta =min(\{{\delta }_i{\}}_{i=1}^M)$$

這個

$\delta$ 就可以達成 eqicontinuous 了。

Arzela-Ascoli Propogation Theorem

Thm (Arzela-Ascoli Propogation Theorem)
假定

$\{g_j\}$ 是 equicontinuous，

$Q\subset [a,b]$，且：

$$\mathrm{\forall }d\in Q.\{g_j(d)\}\text{ converges}$$

則

$\{g_j\}$ 均勻收斂。

這個函數序列只在一個 dense 可數集上逐點收斂，為什麼這樣就保證能夠在整個區間上均勻收斂？這是因為有 equicontinuous 的關係。

因為 equicontinuous 保證 continuous，所以這坨數列都是連續函數。連續函數的空間是完備的，所以目標就是

$\{g_j\}$ Cauchy。當

$m,n$ 都夠大時：

$$|g_m(x)-g_n(x)|<\text{small}$$

雖然沒有

$g_m(x)$ 跟

$g_n(x)$ 的距離，但現在有一個 countable dense subset。既然 dense，那麼任意小的區間，都會包到這個集合裡面的元素，隨便抓一個

$d$ 好了。而函數序列又在這些元素上收斂，因此就可以用 countable dense subset 中的點做跳板，先從

$g_m(x)$ 到

$g_m(d)$，再從

$g_m(d)$ 到

$g_n(d)$，然後用 equicontinuous 走到

$g_n(x)$。

給定

$ϵ>0$ 。對於任意

$x$，

$|t-x|<\delta$ 時，有：

$$|g_i(t)-g_i(x)|<ϵ\mathrm{\forall }i$$

因為這個序列 equicontinuous，這樣一個每個函數都通用的

$\delta$ 必定存在。接著，因為

$Q$ 在

$[a,b]$ 中 dense，所以存在

$d\in Q$，使得

$d\in [x-\delta ,x+\delta ]$。接著把這個

$d$ 當作橋樑：

1. $g_m(x)$ 離
   $g_m(d)$ 很近：

   因為剛剛就是拿保證連續的

   $\delta$ 去造
   $[x-\delta ,x+\delta ]$ 這個集合找到
   $d$ 的。
   
   $$|g_m(x)-g_m(d)|<ϵ$$

2. $g_m(d)$ 跟
   $g_n(d)$ 可以很近：

   因為

   $\{g_j(d)\}$ 收斂，所以他 Cauchy。因此存在
   $N$，使得
   $m,n>N$ 時：
   
   $$|g_m(d)-g_n(d)|<ϵ$$

3. $g_n(d)$ 跟
   $g_n(x)$ 很近：

   因為 equicontinuous，所以給

   $g_m$ 用的
   $\delta$ 在這邊也可以給
   $g_n$ 用。因此：
   
   $$|g_n(d)-g_n(x)|<ϵ$$

因此，套用三角不等式：

$$\begin{array}{rl}|g_m(x)-g_n(x)|& \le \underset{<ϵ}{\underbrace{|g_m(x)-g_m(d)|}}+\underset{<ϵ}{\underbrace{|g_m(d)-g_n(d)|}}+\underset{<ϵ}{\underbrace{|g_n(d)-g_n(x)|}}\\ & <3ϵ\end{array}$$

因為對於任意

$x$，在上述的

$m,n$ 及

$\delta$ 的狀況下，都會成立。因此

$ϵ$ 是一個

$|g_m(x)-g_n(x){|}_{x\in [a,b]}$ 的上界，故：

$$|g_m-g_n|=\underset{x\in [a,b]}{sup}|g_m(x)-g_n(x)|<3ϵ$$

所以

$\{g_j\}$ 均勻收斂。更進一步，因為均勻收斂保連續，所以這個收斂到的函數也是連續的。

Arzela-Ascoli Theorem

Thm (Arzela-Ascoli Theorem)
假定一個有界的函數數列

$\{f_n\}$ equicontinuous，則這個函數序列存在

$(C^0[a,b],d_{sup})$ 上面的收斂子序列。

這個證明是有點建構性的。建構這個收斂的函數子序列的過程如下：

首先，選定一個

$[a,b]$ 上 dense 的可數集

$Q$ (比如：令

$Q$ 為 [a, b] 中所有的有理數)。因為

$Q$ 可數，故可令：

$$Q=\{d_i{\}}_{i=1}^{\mathrm{\infty }}$$

接下來會要構造一堆序列。這邊上標

$j$ 表示第

$j$ 序列。所以

$\{f_k^j\}$ 就表示「第

$j$ 個數列」

令：

$$\{f_n{\}}^{(i)}=\{\begin{array}{ll}\{f_n\}& \text{if }j=0\\ \{f_{n_j}{\}}^{(i-1)}\text{ where }\{f_{n_j}{\}}^{(i-1)}\text{ is a convergence subsequence}\\ \text{of }\{f_n(d_i){\}}^{(i-1)}\text{ gauranteed by Bolzano–Weierstrass Theorem}& \text{otherwise}\end{array}$$

雖然看起來有點難懂。不過大致是照下面這個過程建構出這堆數列：

1. 把

   $d_1$ 到
   $\{f_n\}$ 中，那麼將會形成一個數列：
   $$\{f_n(d_i)\}$$

2. 因為

   $\{f_n\}$ 中所有的函數都是有界的，所以這個帶進去之後，形成的實數上的數列也是有界的，因此存在收斂子序列。即存在子序列
   $\{f_{n_j}(d_1)\}$，使得：
   $$\{f_{n_j}(d_1)\}\subset \{f_n(d_1)\}$$
   且
   
   $$\{f_n{\}}^{(1)}:=\{f_{n_j}\}\subset \{f_n\}\text{converges at }{d}_1$$

3. 這時，把

   $d_2$ 帶進
   $\{f_n{\}}^{(1)}$ 中。因此又形成了一個有界的數列：
   
   $$\{f_n(d_2){\}}^{(1)}$$

4. 再度利用有界數列存在收斂子序列，可以從這個數列中再一次挑出收斂子序列。令這個有界子序列叫做

   $\{f_n{\}}^{(2)}$
   
   $$\{f_n{\}}^{(2)}:=\{f_{n_j}(d_2){\}}^{(1)}\subset \{f_k(d_2){\}}^{(1)}$$

   且這時

   $\{f_n{\}}^{(2)}$ 有：
   $$\{f_n{\}}^{(2)}\subset \{f_k{\}}^{(1)}\subset \{f_n\}\text{converges at }{d}_1,d_2$$

一直重複上述的過程。做到第

$k$ 步時，就會得到

$\{f_n{\}}^{(k)}$，且

$\{f_n{\}}^{(k)}$ 既有以下性質：

$$\{f_n{\}}^{(k)}\subset \dots \{f_n{\}}^{(1)}\subset \{f_n{\}}^{(0)}=\{f_n\}\text{converges at }{d}_1,d_2,\dots d_k$$
這個構造序列的方式可知：上標大的函數，屬於所有上標比他小的子序列。這個觀察接下來會用到。

接著把「第

$i$ 個子序列的第

$i$ 個函數」抓出來湊成一個新的函數的數列：

$$\{g_i\}=\{f_i^{(i)}\}=\{f_1^{(1)},f_2^{(2)},f_3^{(3)},\dots \}$$

接下來宣稱：

$\{g_i\}$ 可以在任意的

$d_m\in Q$ 收斂。這樣一來就可以用 Arzela-Ascoli Propogation Theorem 讓他均勻收斂。

對於任意的

$d_m\in Q$，只要把

$\{g_i\}$ 前

$m$ 項砍掉。「上標大的函數，屬於所有上標比他小的子序列」。故，對於

$\{g_i\}$ 有：

$$\{g_j{\}}_{j=m}^{\mathrm{\infty }}=\{f_m^{(m)},f_{m+1}^{(m+1)},f_{m+2}^{(m+2)}\dots \}\subset \{f_k^{(m)}\}\text{ conv. at }{d}_1,d_2\dots d_m$$

因此，

$\{g_i{\}}_{i=m}^{\mathrm{\infty }}$ 在

$d_1$,

$d_2$…

$d_m$ 都收斂。但砍掉前面有限項，不影響原數列的斂散性。故

$\{g_j\}$ 在

$Q$ 中每一點逐點收斂。

進一步由 Arzela-Ascoli Propogation Theorem，

$\{g_i\}$ 在

$Q\subset [a,b]$ 逐點收斂，且

$Q$ 在

$[a,b]$ 中 dense，因此

$\{g_i\}$ 均勻收斂的序列。而由前面知道

$\{g_i\}\subset \{f_n\}$，所以他就是

$\{f_n\}$ 的收斂子序列。由此得證。

Heine-Borel in Function Space

Thm (Heine-Borel Theorem)
假定：

$$E\subset C^0([a,b],\mathbb{R})$$
則：

$$\begin{array}{rl}& E\text{ is }\mathbf{bounded}\mathbf{,}\mathbf{closed}\text{ and }\mathbf{equicontinuous}\\ & ⟺E\text{ is }\mathbf{compact}\end{array}$$

「

$\Rightarrow$」大致上就是上面那個定理的證明，只有一個細節是這個收斂子序列會不會收斂到

$E$ 裡面，不過前提給了

$E$ 是 closed，所以這個問題就解決了。

「

$\Leftarrow$」的證明利用「compact 且母空間完備，則 closed 且 totally bounded」。所以 closed 跟 bounded 就解決了。

剩下 equicontinuous，這個需要借助 totally bounded 的定義，也就是「給定任意

$ϵ$，都存在有限個

$f_i\in E$，使得以這些元素為中心的

$ϵ$-ball 包住這個集合」，也就是：

$$\mathrm{\forall }ϵ.\mathrm{\exists }{f}_1\dots f_N\in E.E\subset \bigcup _{i=1}^{N}B(f_i,ϵ)$$

換句話說，給定一個

$f\in E$，那麼存在一個

$f_k$

$$f_k\in A:=\{f_1\dots f_N\}$$

使得：

$$|f-f_k|<ϵ$$

另外一方面，因為

$A$ 是有限的連續函數的集合，所以必定 equicontinuous。因此當

$ϵ$ 給定之後，取

$A$ equicontinuous 保證的那個

$\delta$。那麼當

$|x-y|<\delta$ 時，有：

$$\begin{array}{rl}|f(x)-f(y)|& \le |f(x)-f_k(x)|+|f_k(x)-f_k(y)|+|f_k(y)-f(y)|\\ & \le |f-f_k|+|f_k(x)-f_k(y)|+|f-f_k|<3ϵ\end{array}$$

因此，這個

$\delta$ 對於任意

$f\in E$ 都能使

$|f(x)-f(y)|<3ϵ$。由此得證

$E$ 是 equicontinuous 的。