# Banach Space - Derivative (Part 2)

這邊有更多實數上的 *Banach space* 的微分性質。這邊為了簡化，*Banach space* 指得就是「實數上的 *Banach space*」。

這邊介紹的兩個性質分別是「線性」跟「*chain rule*」。但並沒有乘法相關的規則，因為 *Banach space* 上的元素不一定有定義「乘法」，所以自然就沒辦法去定義函數相乘所代表的意義是什麼。

第一個跟 *Banach space* 微分有關的性質是：*Banach space* 上的微分是線性的：

## 線性

*Banach space* 之間

:::danger
**Thm (加法)**

假定 $E, F$ 是 $\mathbb R$ 上的 *Banach space*。假定 $f$ 與 $g$ 在 $x$ 都可微分，則：

$$
(f + g) \ \mathbf{differentiable} \text{ at } x
$$

且：

$$
[D(f + g)(x)] = [Df(x)] + [Dg(x)]
$$

:::

這個證明就是暴力用三角不等式，把 $Df(x) + Dg(x)$ 塞進去說這個東西滿足 $(f + g) $ 在 $x$ 微分的定義：

$$
\begin{align}
&\frac {\|(f + g)(x + h) - (f + g)(x) - (Df(x) + Dg(x))h\|_F}{\|h\|_E}
\newline
&= \frac {\|[(f(x + h) + g(x + h)] - [f(x) + g(x)] - [Df(x) + Dg(x)]h\|_F}{\|h\|_E}
\newline
&\leq \frac {\|f(x + h) - f(x) - Df(x)\|_F}{\|h\|_E} + \frac {\|g(x + h) - g(x) - Dg(x)\|_F}{\|h\|_E}
\newline
&< \epsilon + \epsilon
\end{align}
$$

:::danger
**Thm (係數)**

假定 $E, F$ 是 $\mathbb R$ 上的 *Banach space*。假定 $f$ 在 $x$ 可微分，則：

$$
(cf) \ \mathbf{differentiable} \text{ at } x \
$$

且：

$$
[D(cf)(x)] = c\cdot [Df(x)]
$$

:::

也是暴力塞進微分的定義，說他滿足定義要求：

$$
\begin{align}
&\frac {\|(cf)(x + f) - (cf)(x) - c\cdot [Df(x)](h)\|_F}{\|h\|_E}
\newline
&= \frac {\|c\cdot(f(x + f)) - c\cdot(f(x)) - c\cdot [Df(x)](h)\|_F}{\|h\|_E}
\newline
&=|c|\cdot \frac {\|(f(x + f)) - f(x) - [Df(x)](h)\|_F}{\|h\|_E}
\newline
&< |c| \cdot \epsilon
\end{align}
$$

除了線性之外，還有 *chain rule* 可以用：

## Chain Rule

:::danger
**Thm**

己定 $E, F, G$ 是 $\mathbb R$ 上的 *Banach space*，且：

$$
f : u \to F
$$

$$
g : v \to G
$$

其中，$u \subseteq E$, $v \subseteq F$ 分別是 $E, F$ 上的開集，且 $f(u) \subseteq v$。假定 $f, g$ 均為可微分的，則：

$$
(g \circ f) : u \to G
$$

也可微分。更進一步，對於任意 $x \in E$：

$$
[D(g \circ f)(x)] = [Dg(f(x))]\circ [Df(x)]
$$
:::

目標是：

$$
g(f(x + h)) - g(f(x)) = [\square (x)](h) + \|h\|_E \cdot \tilde \phi(h)
$$

並且 $\tilde\phi$ 必須要滿足：

$$
\lim_{\|h\|_E \to 0} \tilde \phi(h) = 0
$$

而有的條件是：

$$
\begin{align}
f(x + h_1) - f(x) &= [Df(x)](h_1) + \|h_1\|_E \phi_1 (h_1)
\newline
g(f(x) + h_2) - g(f(x)) &= [Dg(f(x))](h_2) + \|h_2\|_F\phi_2(h_2)
\end{align}
$$

其中：

$$
\begin{align}
\lim_{\|h_1\|_E \to 0} \phi_1(h_1) &= 0
\newline
\lim_{\|h_2\|_F \to 0} \phi_2(h_2) &= 0
\end{align}
$$

令：

$$
\mathbf k(h) = [Df(x)](h) + \|h\|_E \cdot \phi_1 (h)
$$

則：

$$
\begin{align}
g(f(x + h)) &= g(f(x) + \mathbf k(h))
\newline
&= g(f(x)) + Dg(f(x)) \cdot \mathbf k(h) + \|\mathbf k(h)\|_F \cdot \phi_2(\mathbf k(h))
\end{align}
$$

其中：

$$
\lim_{\|\mathbf k(h)\|_F \to 0} \phi_2(\mathbf k(h)) = 0
$$

因此：

$$
\begin{align}
g(f(x + h)) - g(f(x)) &= Dg(f(x)) \cdot \mathbf k(h) + \|\mathbf k(h)\|_F \cdot \phi_2(\mathbf k(h))
\newline
&= [Dg(f(x))]\cdot \bigg([Df(x)](h) + \|h\|_E \phi_1 (h)\bigg) + \|\mathbf k(h)\|_F \cdot \phi_2(\mathbf k(h))
\newline
&=\underbrace{[Dg(f(x))]\cdot [Df(x)]}_{\square}(h) + \|h\|_E \underbrace{\left(\phi_1(h) + \frac {\|\mathbf k(h)\|_F \cdot \phi_2(\mathbf k(h))}{\|h\|_E}\right)}_{\tilde\phi}
\end{align}
$$

現在只要證明：

$$
\lim_{\|h\|_E \to 0} \tilde \phi = 0
$$

就可以完成目標。首先，$\phi_1(h)$ 有：

$$
\lim_{\|h\|_E \to 0} \phi_1(h) = 0
$$

這是 $f$ 在 $x$ 可微分的定義給出的 $\phi_1$。

觀察：當 $h \to 0$ 時，

$$
\begin{align}
\|\mathbf k(h)\|_F &= \|[Df(x)](h) + \|h\|_E\cdot \phi_1(h)\|_F
\newline
&\leq \|Df(x)\|_L \cdot \|h\|_E + \|h\|_E \cdot \|\phi_1(h)\|_F
\newline
&=\|h\|_E\bigg(\|Df(x)\|_L + \|\phi_1(h)\|_F\bigg)
\newline
&\to 0
\end{align}
$$

其中，不等號那邊使用了三角不等式，以及：

$$
\begin{align}
&\frac {\|[Df(x)](h)\|_F}{\|h\|_E} \leq \|[Df(x)](h)\|_L
\newline
&\Rightarrow \|[Df(x)](h)\|_F \leq \|[Df(x)](h)\|_L \cdot \|h\|_E
\end{align}
$$

既然有了：

$$
\|\mathbf k(h)\|_F \leq \|h\|_E\bigg(\|Df(x)\|_L + \|\phi_1(h)\|_F\bigg)
$$

所以後面那坨東西：

$$
\begin{align}
\left\| \frac {\|\mathbf k(h)\|_F \cdot \phi_2(\mathbf k(h))}{\|h\|_E}\right\|_G
&\leq \frac {\left\|\|h\|_E \cdot \bigg(\|Df(x)\|_L + \|\phi_1(h)\| \bigg)\cdot \phi_2(\mathbf k(h)\right\|_G}{\|h\|_E}
\newline
&= \left\|\bigg(\|Df(x)\|_L + \|\phi_1(h)\|_F\bigg)\cdot \phi_2(\mathbf k(h)\right\|_G
\newline
&= \bigg| \|Df(x)\|_L + \|\phi_1(h)\|_F \bigg|\cdot \bigg\|\phi_2(\mathbf k(h)\bigg\|_{G}
\end{align}
$$

因為 $h \to 0$ 時，$\mathbf k(h) \to 0$，所以連帶 $\phi_2(\mathbf k(h)) \to 0$，因此由上面的結論：

$$
\left\| \frac {\|\mathbf k(h)\|_F \cdot \phi_2(\mathbf k(h))}{\|h\|_E}\right\|_G \to 0 \Rightarrow \frac {\|\mathbf k(h)\|_F \cdot \phi_2(\mathbf k(h))}{\|h\|_E} \to 0
$$

由此得證。