# Function Space - Weiestrass Theorem

這邊的目標是：==多項式在連續函數中 *dense*==。這個結論也就是說：對於某個連續函數 $f$，任給一個 $\epsilon$，都可以找到一個多項式 $p$，使得：

$$
|f - p| < \epsilon
$$

這個理論神奇的地方在於：只要連續函數就好，甚至不用像泰勒展開那樣，需要可微。

:::danger
**Thm (Weiestrass Theorem)**
對於任意 $f \in C^0([a, b], \mathbb R)$，對於任意 $\epsilon > 0$，存在滿足：

$$
|p(x) - f(x)| < \epsilon \quad \forall x \in [a, b]
$$

的多項式 $p(x)$
:::

為了方便，首先假設 $[a, b] = [0, 1]$，然後再把這夠結論推廣到一般的 $[a, b]$。

這個證明是暴力構造的證明。直接宣稱當 $n$ 夠大時，以下這個形式的多項式：

$$
P_n(x) = \sum_{k = 0}^{n}f\left(\frac {k}{n}\right)C^n_kx^k(1 - x)^{n - k}
$$

可以任意趨近 $f$。為了方便，令：

$$
r_k = C^n_k x^k (1-x)^{n-k}
$$

則原多項式可以寫成：

$$
P_n(x) = \sum_{k = 0}^{n}f\left(\frac {k}{n}\right)r_k
$$

這個過程中會借助兩個恆等式：

$$
\sum_{k = 0}^{n}C^n_kx^k(1-x)^{n-k} = \sum_{k=0}^n r_k = 1
$$

及：

$$
\sum_{k = 0}^{\infty}(nx-k)^2 C^n_k x^k(1-x)^{n-k} = \sum_{k = 1}^k(nx-k)^2r_k = nx(1-x)
$$

首先用第一個恆等式去湊：

$$
f(x) = f(x)\cdot 1 = f(x)\sum_{k = 0}^n r_k = \sum_{k = 0}^n f(x)r_k
$$

因此，把他們相減：

$$
\begin{align}
|f(x) - P_n(x)| = \left|\sum_{k = 0}^n\left(f(x) - f\left(\frac {k}{n}\right)\right)r_k\right|
\end{align}
$$

給定一個 $\epsilon > 0$，因為 $f$ 定義在 $[0, 1]$，而 $[0, 1]$ 是個 *compact set*。所以 $f$ 是個定義在 *compact set* 上的連續函數，所以一定會均勻連續。因此均勻連續就可以找出一個 $\delta > 0$，使得任意 $x\in[0, 1]$，有：

$$
\left|x - \frac {k}{n}\right| < \delta \Rightarrow \left|f(x) - f\left(\frac {k}{n}\right)\right| < \epsilon
$$

把所有的 $x\in[0, 1]$ 用這個 $\delta$ 分成兩類：

$$
K_1 = \{x\in[0, 1]:|x - k/n| < \delta \text{ for some k}\}
$$

$$
K_2 = \{x\in[0, 1]:|x - k/n| \geq \delta \text{ for some k}\}
$$

所以，就可以把這個加總拆成兩項：

$$
\begin{align}
\sum_{k = 0}^n&\left(f(x) - f\left(\frac {k}{n}\right)\right)r_k = \newline
&\sum_{k\in K_1}\left(f(x) - f\left(\frac {k}{n}\right)\right)r_k +
\sum_{k\in K_2}\left(f(x) - f\left(\frac {k}{n}\right)\right)r_k
\end{align}
$$

對於左邊，因為 $\delta$ 是用均勻連續找出來的，所以 $|x-k/n| < \delta$ 表示 $|f(x) - f(k/n)| < \epsilon$。故：

$$
\sum_{k\in K_1}\left(f(x) - f\left(\frac {k}{n}\right)\right)r_k < \sum_{k\in K_1}
(\epsilon) r_k < \sum_{k = 0}^n(\epsilon)r_k = \epsilon
$$

對於右邊，因為 $f(x)$ 在 $[0, 1]$ 連續，所以在 $[0, 1]$ 有界。假定 $|f(x)| < M$，那麼：

$$
\sum_{k\in K_2}\left(f(x) - f\left(\frac {k}{n}\right)\right)r_k < \sum_{k \in K_2}(2M) r_k = 2M\sum_{k \in K_2}r_k
$$

這時看起來有點束手無策，不過另外一個條件是 $n$ 可以任意大。所以就令：

$$
\frac {M}{n\delta^2} < {\epsilon}
$$

這時：

$$
|x - k/n| \geq \delta \Rightarrow \left|\frac {nx - k}{n}\right|\geq \delta \Rightarrow \frac {(nx - k)^2}{n^2\delta^2} \geq 1
$$

帶回原式，得到：

$$
2M\sum_{k \in K_2}r_k \leq 2M\sum_{k \in K_2}\frac {(nx - k)^2}{n^2\delta^2}r_k = \frac {2M}{n^2\delta^2}\sum_{k \in K_2}{(nx - k)^2}r_k
$$

但：

$$
\sum_{k \in K_2}{(nx - k)^2}r_k \leq \sum_{k =0}^{n}{(nx - k)^2}r_k = nx(1-x)
$$

故：

$$
\frac {2M}{n^2\delta^2}\sum_{k \in K_2}{(nx - k)^2}r_k \leq \frac {2M}{n^2\delta^2}nx(1-x) = \frac {2M}{n\delta^2}x(1-x)
$$

因為 $0 \leq x \leq 1$，所以 $x(1-x) < 1$。故進一步：

$$
\frac {2M}{n^2\delta^2}x(1-x) < \frac {2M}{n\delta^2} < 2\epsilon
$$

因此：

$$
\begin{align}
\sum_{k = 0}^n&\left(f(x) - f\left(\frac {k}{n}\right)\right)r_k = \newline
&\sum_{k\in K_1}\left(f(x) - f\left(\frac {k}{n}\right)\right)r_k +
\sum_{k\in K_2}\left(f(x) - f\left(\frac {k}{n}\right)\right)r_k < \epsilon + 2\epsilon
\end{align}
$$

有了 $[0, 1]$ 之後，就可以進一步造出任意 $[a, b]$ 上滿足該性質的多項式：假定 $f\in C^0([a, b], \mathbb R)$，則令：

$$
g(x) = f(a + (b - a)x)
$$

則 $g \in C^0([a, b], \mathbb R)$。因此存在多項式 $P_n$，使得：

$$
|g(x) - P_n(x)| = |f(a + (b-a)x) - P_n(x)| < \epsilon \quad \forall x \in [0, 1]
$$

也就是：

$$
\left|f(x) - P_n\left(\frac {x - a}{b - a}\right)\right| < \epsilon \quad \forall x \in [a, b]
$$

而且顯然：

$$
P_n\left(\frac {x - a}{b - a}\right)
$$

仍然是個多項式。由此得證。