# Banach Space - Inverse Function Theorem

:::danger
**Thn (Inverse Function Theorem)**

$E, F$ 是一個 *Banach space*，$u \subseteq E$ 是一個開集，$f : E \to F \in C^1(u)$。

若在 $x_0 \in E$，以及一個開集 $U_0$，使得：

$$
Df(x_0)\ \mathbf{bijective} \text{ on }U_0
$$

則存在 $x_0$ 的鄰域 $U \subseteq E$，使得 $f$ 在 $U$ 上的 *restriction* 是 $C^1$*-isomorphism*，即 *1-1 onto* 且 $f$ 與 $f^{-1}$ 均為 $C^1$

$$
\begin{align}
f_U : U \to f(U)\ \mathbf{\ C^1\ isomorphism}
\end{align}
$$

更進一步，對於任意 $x \in U$，有：

$$
\left[D\left(f_U^{-1}\right)(x)\right] = \left[[Df_U(x)]^{-1}\right]
$$

:::

### Step 1：問題轉化

因為已經知道 $Df(x_0) \in \mathbb L(E, F)$ 了，又加上前提知道是 *bijective*，這兩個條件加起來也就是在說：==$Df(x_0)$ 是個 $C^0$*-isomorphism*== 。所以如果把操縱對象從 $f$ 改成

$$
\tilde f = \left([Df(x_0)]^{-1} \circ f\right)
$$

並不會影響局部的微分性。這是因為 $\mathbb L(E, A)$ 對某個點的微分不管微分幾次都是自己，所以合成之後可不可微分，取決於 $f$ 可不可微分。而且操作的範圍就變成一個：

$$
\tilde f : E \to E
$$

的函數了。

順帶一提，之所以會「$\mathbb L(E, A)$ 對某個點的微分不管微分幾次都是自己」，這是因為對於任意 $T \in \mathbb L(E, F)$，所以 $T$ 線性，因此：

$$
T(x + h) - T(x) = T(h)
$$

所以，把自己帶進微分定義中：

$$
\frac {\|T(x + h) - T(x) - T(h)\|_F}{\|h\|_E} = 0
$$

取極限前都是 $0$ 了，取極限之後就更不用說。所以 $T$ 自己就是滿足微分定義那個 $\mathbb L(E, F)$，因此自己就是自己的微分。

> 這樣看起來似乎
>
> 1. 線性就可以微分
> 2. 可微分又表示連續
>
> 那似乎就避開了 *bounded* 的限制嗎？其實沒有。這是因為：
>
> 1. 微分定義中，「在某點微分結果是個 *bounded* 函數」。如果 $T$ 不 *bounded linear*，那就不是滿足微分定義的微分了。
> 2. 可微分推到連續的步驟，也要用到微分結果是 *bounded* 的性質。

這樣的轉換，除了不影響 $f$ 的微分性，以及 $E = F$ 之外，另外一個好事是：

$$
D\tilde f(x_0) = I
$$

這可以用微分 *chain rule* 看：

$$
\begin{align}
[D\tilde f(x_0)] &= D\bigg([Df(x_0)]^{-1}f(x)\bigg)\bigg|_{x = x_0}
\newline
&= [Df(x_0)]^{-1}\bigg(Df(x)\bigg)\bigg|_{x = x_0}
\newline
&= [Df(x_0)]^{-1}[Df(x_0)]
\newline&= I
\end{align}
$$

或是直接用定義。因為 $f$ 在 $x_0$ 可微分，所以有：

$$
\begin{align}
Df(x_0)^{-1}\bigg(f(x_0 + h) - f(x_0)\bigg) &= Df(x_0)^{-1}\bigg([Df(x_0)](h) + \phi(h)\bigg)
\newline
&= h + Df(x_0)^{-1}(\phi(h))
\newline
&= I(h) + \tilde \phi(h)
\end{align}
$$

其中：

$$
\lim_{\|h\|_E \to 0} \frac {\|\phi(h)\|_F}{\|h\|_E} = 0
$$

可以證明：若 $T \in \mathbb L(E, F)$，且 $T$ 可逆，那麼 $T^{-1} \in \mathbb L(E, F)$。首先，線性轉換若可逆，則其逆轉換也是線性的。更進一步，這個逆轉換 $T^{-1}$ 也有界。因為：

$$
\frac {\|T(x)\|_F}{\|x\|_E} < c \Rightarrow \frac {\|x\|_E}{\|T(x)\|_F} = \frac {\|T^{-1}(y)\|_E}{\|y\|_F} < \frac {1}{c}
$$

綜合以上的結論，可以進一步宣稱：

$$
\lim_{\|h\|_E \to 0} \frac {\tilde \phi(h)}{\|h\|_E} = 0
$$

這是因為：

$$
\begin{align}
\lim_{\|h\|_E \to 0} \frac {\tilde \phi(h)}{\|h\|_E}
&= \lim_{\|h\|_E \to 0} \frac {Df(x_0)^{-1}(\|h\|_E\phi(h))}{\|h\|_E}
\newline
&= Df(x_0)^{-1}\bigg(\lim_{\|h\|_E \to 0}\frac {\phi(h)}{\|h\|_E}\bigg)
\newline
&= Df(x_0)^{-1}(0)
\newline
&= 0
\end{align}
$$

因此，他的微分就是 $I$。

除此之外，還可以把這個函數從 $x_0$ 平移回原點。所以就更近一步簡化成：只要會做「==$f : E \to E$, $f(0) = 0$, $Df(0) = I$, $x_0 = 0$==」 的狀況，那麼就會做原來命題的狀況。

### Step 2：造 Contraction Map

==用 *MVT inequaity* 造 *contraction map*。==

考慮：

$$
g(x) = x - f(x)
$$

這樣一來，$g'(0) = 0$，且 $Dg(0) = 0$。既然 $Df \in C^0$，$Dg = Df + \mathbb I$ 也是 $C^0$，所以也在 $0$ 連續。因此==存在 $r > 0$，使得微分的 *norm* 變成一個比 1 小的數，比如說 $1/2$==：

$$
\begin{align}
\exists &r > 0.\forall x \in B(0, r).
\newline
&\|Dg(x) - Dg(0)\|_L = \|Dg(x)\|_L \leq \frac {1}{2}
\end{align}
$$

這樣就可以用 *MVT* 造出一個局部的 *contraction map*。因為只要取原點為圓心，比上面的 $r$ 更小的半徑，比如半徑 $r/2$ 的球。那麼在這個比較小的球裡面，就有：

$$
\|g(x) - \underbrace{g(0)}_{0}\| \leq \underbrace{\left(\sup_{x\in \overline{ox}} \|Dg(x)\|_L\right)}_{<1/2}\underbrace{\|x\|}_{\leq r/2}
$$

因為 $g(0) = 0$，$\|Dg(x)\|_L < 1/2$，故對於任意 $\|x\| \leq r/2$，有：

$$
\|g(x)\| \leq \frac {1}{2} \|x\| \leq \frac {r}{4}
$$

也就是說：

$$
g \left({\bar{B}\left(0, \frac {r}{2}\right)}\right) \subseteq {\bar{B}\left(0, \frac {r}{4}\right)}
$$

既然會把半徑是 $r/2$ 的球射進半徑 $r/4$ 的球裡面，這樣造出來的 $g$ 就是一個 *contraction map*。除此之外，上面還有推導出在這個半徑 $r/2$ 上面，有：

$$
\|Dg(x)\|_L \leq \frac {1}{2}
$$

### Step 3：Banach Contraction Theorem

宣稱：

$$
\forall y \in \bar B\left(0, \frac {r}{4}\right).\exists !x \in \bar B\left(0, \frac {r}{2}\right).f(x) = y
$$

這是因為：對於任意這樣的 $y$，考慮：

$$
\begin{align}
g_y &= g(x) + y
\newline
&= \bigg(x - f(x)\bigg) + y
\end{align}
$$

首先，任何一個這樣造出來的 $g_y$ 都是一個 *contraction map*。因為

$$
\begin{align}
\|g_y(x_1) - g_y(x_2)\|
&= \|(g(x_1) + y) - (g(x_2) + y)\|
\newline
&= \|g(x_1) - g(x_2)\|
\newline
&\leq \|Dg(0)\|_L\|x_1 - x_2\|
\newline
&\leq \frac {1}{2}\|x_1 - x_2\|
\end{align}
$$

除了這之外，還要確認這件事情成立的範圍。因為 ==現在的 *contraction* 性質只在一個局部範圍內出現，而不是整個空間。所以要進一步確認 *contract* 的結果會不會往外飄。== 稍微統整一下上面 $x$ 跟 $y$ 的條件：

1. $y$ 在半徑 $r/4$ 的球裡，所以
$$
\|y\| < r/4
$$
2. 在 $\|x\| < r/2$ 的狀況下，有
$$
\|g(x)\| \leq r/4
$$

所以，對於任意 $\|x\| < r/2$ 的 $x$，有：

$$
\|g_y(x)\| \leq \|g(x)\| + \|y\| \leq \frac {r}{4} + \frac {r}{4} = \frac {r}{2}
$$

也就是說：

$$
g_y\left(\bar B\left(0, \frac {r}{2}\right)\right) \subset \bar B\left(0, \frac {r}{2}\right)
$$

所以，上述 *contraction* 成立的範圍，是在半徑 $r/2$ 的「閉」球上。因此，若將 $g_y$ 定義在 $\bar B(0, r/2)$ 這個閉球上：

$$
g_y : \bar B\left(0, \frac {r}{2}\right) \to \bar B\left(0, \frac {r}{2}\right)
$$

在這個狀況下，$g_y$ 仍然定義在一個完備的集合上，因為完備空間的閉集仍然是完備的。所以這樣一來就湊齊了 *Banach Contraction Theorem* 的條件：$\bar B(0, r/2)$ 完備、$g_y$ 是 *contraction map*。因此就存在唯一的 $x_0$，使得：

$$
\begin{align}
g_y(x_0) = x_0 &\Rightarrow x_0 - f(x_0) + y = x_0
\newline
&\Rightarrow f(x_0) = y
\end{align}
$$

### Step 4：構造反函數

上面證明出了這樣的命題：

$$
\forall y \in \bar B\left(0, \frac {r}{4}\right).\exists !x \in \bar B\left(0, \frac {r}{2}\right).f(x) = y
$$

言下之意， ==任何 $y \in \bar B(0, r/4)$ 當中，都存在唯一的 $x \in \bar B(0, r/2)$，使得 $f(x) = y$==。因此，把這樣的 $x$ 都收集起來，假定形成的集合叫做 $X$。由上面結果知道，$X \subset \bar B(0, r/2)$。所以就令：

$$
\begin{align}
U &= X \cap \bar B\left(0, \frac {r}{2}\right)
\newline
V &= \bar B\left(0, \frac {r}{4}\right)
\end{align}
$$

這樣一來：

$$
f_{U} : U \to V
$$

就會是一個 *1-1 onto* 的函數了。

### Step 5：局部反函數連續

更進一步宣稱：這樣夠造出來的 $f_U$ 是連續的：

$$
\left(f_U\right)^{-1}\mathbf {\ continuous}
$$

因為 $U$ 在 $\bar B(0, r/2)$ 中。由==Step 2== 的步驟知道：在 $\bar B(0, r/2)$ 中，有：

$$
\|Dg(x)\|_L \leq \frac {1}{2}
$$

對於任意 $y_1, y_2 \in U$，假定 $x_1, x_2$ 是 $U$ 中使得 $f(x_1) = y_1$ 及 $f(x_2) = y_2$ 的唯一元素。套用 *MVT*，有：

$$
\begin{align}
\|g(x_1) - g(x_2)\| &\leq \|Dg(0)\|_L\|x_1 - x_2\|
\newline
&\leq \frac {1}{2}\|x_1 - x_2\|
\end{align}
$$

所以，計算 $\|f^{-1}(y_1) - f^{-1}(y_2)\|$：

$$
\begin{align}
&\|f^{-1}(y_1) - f^{-1}(y_2)\|
\newline
&= \|x_1 - x_2\|
\newline
&= \|(\underbrace{x_1 - f(x_1)}_{g(x_1)} + f(x_2)) - (\underbrace{x_2 - f(x_2)}_{g(x_2)} + f(x_2))\|
\newline
&= \|g(x_1) - g(x_2) + f(x_1) - f(x_2))\|
\newline
&\leq \|g(x_1) - g(x_2)\| + \|f(x_1) - f(x_2)\| \newline
&\leq \frac {1}{2}\|x_1 - x_2\| + \|y_1 - y_2\|
\end{align}
$$

把最下面的 $(1/2)\|x_1 - x_2\|$ 往左移項，就會有：

$$
\frac {1}{2}\|x_1 - x_2\| = \frac {1}{2}\|f^{-1}(y_1) - f^{-1}(y_2)\| \leq \|y_1 - y_2\|
$$

換句話說，$f^{-1}$ 在 $U$ 的範圍內 *Lipschitz*。因為上面那坨東西就是：

$$
\|f^{-1}(y_1) - f^{-1}(y_2)\| \leq 2 \|y_1 - y_2\|
$$

由此得證 $f^{-1}$ 在 $U$ 上連續。

### Step 6：微分的局部反函數存在

宣稱：在 $U$ 上面的任意 $x$，有：

$$
[Df(x)]^{-1}\ \mathbf{exists} \text{ and }\mathbf{bonded}
$$

首先考慮 $g$ 的可微分性。$Dg(x_0) \in \mathbb L(E, E)$，而 $\mathbb L(E, E)$ 搭配 $\|\cdot\|_L$ 之後，是一個有單位元 $I$ 的 *Banach space*。因此：

$$
Df : E \to \mathbb L(E, F)
$$

以及：

$$
Dg : E \to \mathbb L(E, F)
$$

也是 *Banach space* 之間的轉換。而更進一步，對於 $x \in U$，有：

$$
Df(x) = I - Dg(x)
$$

其中：

$$
\|Dg(x)\|_L \leq \frac {1}{2}
$$

而在介紹 *Banach space* 提到：若有一個元素具備 $\mathbb 1 - a$ 的形式，其中 $\|a\| < 1$，那麼這個元素就可逆。因此，$Df(x)$ 作為一個在 $\mathbb L(E, E)$ 中的元素也是可逆的。也就是：

$$
\forall x \in U.[Df]^{-1} \ \mathbf {exists}
$$

更進一步，如果這樣形式的元素存在，$[Df(x)]^{-1}$ 有以下形式：

$$
\begin{align}
&(\mathbb 1 - a)^{-1} = \sum_{i = 0}^{\infty}a^i \newline
&\Rightarrow [Df(x)]^{-1} = [I - Dg(x)]^{-1} = \sum_{i = 1}^{\infty}[Dg(x)]^i
\end{align}
$$

由上面這個形式又可以觀察到：只要 $x \in U$，那麼被 $Df$ 生出來的 $Df(x)$ ，他的反元素 $[Df(x)]^{-1}$ 都還是 *bounded* 的。因為：

$$
\begin{align}
\|[Df(x)]^{-1}\|_L &\leq \sum_{i = 0}^{\infty}\left(\|[Dg(x)]\|_L\right)^i
\newline
&\leq \sum_{i = 0}^{\infty} \left(\frac {1}{2}\right)^i
\newline
&= 2
\end{align}
$$

除了 *bounded* 之外，還是線性的。這是因為 $Df(x) \in \mathbb L(E, E)$，所以是線性的。而線性轉換的逆轉換也是線性的。

### Step 7：微分的局部反函數 = 反函數局部的微分

最後要證明的命題是：

$$
\forall x \in U.[Df^{-1}(x)] = [Df(x)]^{-1}
$$

直接把 $[Df(x)]^{-1}$ 塞進去定義說他滿足微分定義。任選 $y \in V$，考慮：

$$
\begin{align}
&\left(f^{-1}(y') - f^{-1}(y)\right) - [Df(x)]^{-1}(y' - y)
\newline
&= (x' - x) - \underbrace{[Df(x)]^{-1}(f(x') - f(x))}_{對這串動手}
\end{align}
$$

利用 $f$ 可微分，能夠把 $f(y') - f(y)$ 寫成：

$$
\begin{align}
f(x') - f(x) &= [Df(x)](x' - x) + \|x'- x\|\phi(x' - x)
\newline
[Df(x)]^{-1}(f(x') - f(x)) &= \underbrace{(x' - x)}_{帶回去會被消掉} + [Df(x)]^{-1}\|x' - x\|\phi(x' - x)
\end{align}
$$

其中：

$$
\phi(x' - x) \to 0 \text{ as }\|x' - x\| \to 0
$$

帶回原式，得到：

$$
\begin{align}
&\left(f^{-1}(y') - f^{-1}(y)\right) - [Df(x)]^{-1}(y' - y)
\newline
&=[Df(x)]^{-1}\bigg(\|x' - x\|\phi(x' - x)\bigg)
\newline
&\to [Df(x)]^{-1}(0) = 0 \text{ as }x' \to x
\end{align}
$$

所以就證明了：

$$
[Df(x)]^{-1} = \left[Df^{-1}(x)\right]
$$