---
breaks: false
---

Spectral decompositions (BY-EXAMPLE)
====================================

Defs
---
Пусть $A:X\to X$ --- линейный оператор.
Число $\lambda\in\mathbb{C}$
называют *собственным значением* оператора $A$,
или *точкой точечного спектра* оператора $A$,
если оператор
$$A - \lambda I$$
не инъективен,
то есть существует ненулевой вектор $x\in X$,
для которого
$$A x = \lambda x.$$
Такой вектор $x$ называется *собственным*
вектором оператора $A$,
*соответствующим собственному значению $\lambda$*.

Пусть $X$ --- $n$-мерное ($n < \infty$) линейное пространство.
Говорят, что $A$ --- оператор *простого спектра*,
если он имеет $n$ линейно-независимых собственных векторов.

**Def.** Оператор $P$ называют [*проектором*](https://en.wikipedia.org/wiki/Projection_(linear_algebra)),
если $P^2=P$.

**Теорема о спектральном разложении**:
пусть $A$ --- оператор простого спектра,
$e_1, \ldots, e_n$ --- его $n$ линейно-независимых
собственных векторов,
а $\lambda_1, \ldots, \lambda_n$ --- соответствующие им
(вообще говоря, не все различные) собственные значения.
Тогда оператор $A$ представим в виде
$$A = \lambda_1 P_1 + \cdots + \lambda_n P_n,$$
где оператор $P_i$ --- *проектор*, соответствующий
вектору $e_i$ и определённый равенствами
$$P_i e_j =
\left\{\begin{aligned}
0,\ i\neq j,\\
e_j,\ i=j,
\end{aligned}\right.$$
где $i,j\in\{1, \ldots, n\}$.
При этом проекторы $P_1, \ldots, P_n$
образуют *разложение единицы*:
$$P_1 \oplus \cdots \oplus P_n = I.$$

**NB**: такие проекторы обладают свойством
$$P_i P_j =
\left\{\begin{aligned}
I,\ i=j,\\
0,\ i\neq j.
\end{aligned}\right.$$

С помощью спектрального разложения, например,
можно легко вычислить степень оператора,
или экспоненту от оператора
(**NB**: экспонента даёт группу решений линейного ОДУ):
$$e^A = \sum_{j=0}^\infty \frac{1}{j!} A^j =
\sum_{j=0}^\infty \frac{1}{j!}(\lambda_1^j P_1 + \cdots + \lambda_n^j P_n) =
e^{\lambda_1} P_1 + \cdots + \cdots e^{\lambda_n} P_n.$$

Рассмотрим линейное ОДУ:
$$\dot x = Ax,$$
$$x(0) = x_0.$$
Решение такого уравнения есть экспонента
$$e^{At}x_0$$

Группа преобразований этого дифференциального уравнения:
$$t \mapsto e^{At}.$$

**NB**: экспонента в принципе определяется, как функция,
удовлетворяющая дифференциальному уравнению
$$\frac{\mathrm{d}}{\mathrm{d}x} \mathrm{exp} = k\mathrm{exp},\ k=\mathrm{const}$$

#### Задачи
$$
\left\{\begin{aligned}
& \dot x = 2x + y,\\
& \dot y = 3x + 4y.
\end{aligned}\right.
$$

Matrix JNF
---
Для матриц определения аналогичны.
Теорема о спектральном разложении для матриц означает,
что в базисе $e_1, \ldots, e_n$
матрица оператора $A$ имеет диагональный вид
и на главной диагонали стоят
числа $\lambda_1, \ldots, \lambda_n$:
$$\begin{pmatrix}
\lambda_1 & 0 & \cdots & 0 \\
0 & \lambda_2 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & \lambda_n
\end{pmatrix}.$$

Проектор $P_j$ в таком базисе
имеет матрицу, на $j$-м месте
главной диагонали которой стоит единица,
а остальные элементы --- нули:
$$\left(\begin{smallmatrix}
0 & & \\
& \ddots & \\
& & 0 \\
& & & 1 \\
& & & & 0 \\
& & & & & \ddots \\
& & & & & & 0
\end{smallmatrix}\right).$$

К сожалению, не все операторы (матрицы) имеют простую структуру.
Если не хватает линейно-независимых векторов,
то рассматривают присоединённые векторы,
жордановы клетки и [ЖНФ](https://en.wikipedia.org/wiki/Jordan_matrix).
Лень набирать текст.

SVD
---

### Applied: [PCA](https://en.wikipedia.org/wiki/Principal_component_analysis)

More links: [1](https://math.stackexchange.com/questions/3869/what-is-the-intuitive-relationship-between-svd-and-pca).
Requirements: [covariance](https://en.wikipedia.org/wiki/Covariance_matrix),
[covariance estimation](https://en.wikipedia.org/wiki/Estimation_of_covariance_matrices).

Пусть $X\in\mathbb{R}^{m\times n}$
--- матрица с $m$ наблюениями
некоторого $n$-мерного случайного вектора $\xi$
с нулевым средним $\mathbb{E}\xi = 0$.

Необходимо сократить размерность пространства (dimentionality reduction), т.е. для каждого $x\in\mathbb{R}^n$ поставить в соответствие $c=f(x)\in\mathbb{R}^k,k<n$. Для обратного преобразования определим ф-ю $g(c)=Dc, D\in\mathbb{R}^{n\times k}$, для которой $g(f(x))\sim x$.

Т.о. необходимо найти такой $c^*$ для каждого $x$, чтобы минимизировать расстояние между $x$ и $g(c^*)$ (для определения расстояния можно использовать $L^2$-норму в квадрате):
$$c^*=\min\limits_{c}\|x-g(c)\|_2^2=\min\limits_{c} -2x^T Dc + c^T c$$

Решая задачу оптимизации, получим: $c=f(x)=D^Tx$

Соответственно, для восстановления изначальной размерности: $r(x)=g(f(x))=DD^Tx$

Operators spectral decomposition
---

Fourier Series
---

### Applied: Fourier method for wave eqn (Separation of Variables)
Links&requirements:
[partial derivatives and PDE's](https://en.wikipedia.org/wiki/Partial_derivative),
[wave eqn](https://en.wikipedia.org/wiki/Wave_equation),
[separation of variables](https://en.wikipedia.org/wiki/Separation_of_variables#Partial_differential_equations).

Рассмотрим скалярный случай волнового уравнения:
$$(\frac{\partial^2}{\partial t^2}u)(t, x) =
c^2 (\frac{\partial^2}{\partial x^2}u)(t, x),$$
$$((\frac{\partial^2}{\partial t^2} -
c^2 \frac{\partial^2}{\partial x^2})u) (t, x) = 0,$$
$$u(t,0) = u(t,L) = 0,$$
$$c\in[0,+\infty].$$
Оно описывает поперечные колебания струны длины $L$ в плоскости,
$u(t, x)$ --- отклонение точки $x$ от положения равновесия
в момент времени $t\in\mathbb{R}_{+}$. **TODO**: пикчу сюда.

Видно, что можно попытаться применить к этому уравнению
технику *разделения переменных*.
Пусть $u(t,x) = T(t)X(x)$.
Тогда уравнение можно переписать в виде:
$$T^{\prime\prime}(t)X(x) = c^2 T(t) X^{\prime\prime}(x),$$
$$\frac{X^{\prime\prime}}{X}(x) = \frac{T^{\prime\prime}}{c^2 T}(t),$$
при любых $t\in\mathbb{R}_{+},\ x\in[0,L].$
Такое возможно только если и левая и правая часть
равны одной константе:
$$\frac{X^{\prime\prime}}{X}(x) = \frac{T^{\prime\prime}}{c^2 T}(t) = \mu.$$
Получаем два обыкновенных дифференциальных уравнения:
$$((\frac{\mathrm{d^2}}{\mathrm{d}x^2} - \mu I)X)(x) =
X^{\prime\prime}(x) - \mu X(x) = 0,$$
$$((\frac{\mathrm{d^2}}{\mathrm{d}t^2} - c^2 \mu I)T)(t) =
T^{\prime\prime}(t) - c^2 \mu T(t) = 0.$$
Собственные функции первого уравнения: $e^{\mu x},\ e^{-\mu x}$.
Второго уравнения: $e^{c\mu t},\ e^{-c\mu t}$.
Так как решение $T$ должно быть периодическим,
необходимо $\operatorname{Im}\mu \neq 0$.
Покажем, что $\operatorname{Re}\mu = 0$:
пусть $X(x) = c_1 e^{\mu x} + c_2 e^{-\mu x}$;
из краевых условий:
$$0 = X(0) = X(L) =
c_1 + c_2 =
c_1 e^{\mu L} + c_2 e^{-\mu L} = 0,$$
из чего следует $X=0$, если $\operatorname{Re}\mu \neq 0$.
Имеем $X(x) = A \cos(\mu x) + B \sin(\mu x),$
$X(0) = B = 0,$
$X(L) = A \cos(\mu L) = 0,$
$\mu L = \frac{\pi n}{2},$
то есть собственные значения нашего диф. оператора
$\frac{\partial^2}{\partial t^2} - c^2 \frac{\partial^2}{\partial x^2})$:
$$\mu = \frac{\pi n}{2L},\ n\in \mathbb{N}.$$
Его собственные функции:
$$\cos(\frac{\pi n}{2L}), \cdots$$