<!-- LaTeX macros for easier math typesetting can be defined here -->
$$
\def\dbm{{\,\mathrm{dBm}}}
\def\unit#1{{\,\mathrm{#1}}}
\def\pr#1{{\mathrm{Pr}\{#1\}}}
$$

# NT*Sus* Formelsammlung
## Allgemeines
## Pegel
- $10 \cdot \log \left( \frac{x}{1 \unit{mW}} \right) = x \cdot \dbm =10 \log(x) + 30 \dbm$
-
## Freiraum, ECB, Hilbert

## AM

## FM

## PCM

## DPCM

## Informationstheorie
- Informationsmaß nach SNNONNNON (sry da war ein Bitfehler drin)
$$
\def\pr#1{{\mathrm{Pr}\{#1\}}}
I(X)=-\log_2(\pr{X}) \qquad [\mathrm{bit}]
$$
- **Entropie** (mittlerer Informationsgehalt) einer Quelle mit Quellensymbolen $x_i$ mit $i \in 1, ..., M_x$
$$
H(X)= -\sum_{i=1}^{M_x} \pr{x_i}\log_2{(\pr{x_i})} \qquad \left[ \frac{\text{bit}}{\text{Quellensymbol}} \right]
$$
Die Entropie ist nichtnegativ und nach oben beschränkt. Es gilt:
$$
0 \leq H(X) \leq \log_2(M_x)
$$
- **Binäre Entropiefunktion** - Entropie bei *binärer Quelle* mit Quellsymbolwahrscheinlichkeiten $p$ und $1-p$
$$
\mathrm e_2(x) \stackrel{\text{def}}{=} -p \log_2(p) - (1-p) \log_2(1-p)
$$
Für $p=0.5$ ist die Entropie mit 1 maximal. Die Unsicherheit über das beobachtete Ereignis ist dann am größten.
- **Quellencodierungstheorem**
Zur *umkehrbar* eindeutigen Repräsentation von Information durch Binärsymbole reichen *im Mittel*
$$H(X)\ \frac{\text{Binärsymbole}}{\text{Quellensymbol}}$$
aus. Die Entropie bildet somit die untere Grenze für die "Kompression" der Information.
- **Huffman-Codierung**
- Quellsymbole (z.B. $A$) oder Quellenwörter (bestehend aus mehreren Quellensymbolen, z.B. $ABA$) der Länge $L$ werden auf $M_x^L$ (Anzahl) *binäre Codewörter* mit variabler Länge (z.B. $01, 1100$) abgebildet
- Quellenwörter mit großer Ereigniswahrscheinlichkeit werden kurze binäre Codewörter zugewiesen
- Der Code ist *präfixfrei*. Kein Codewort darf *Präfix* eines anderen Codewortes sein. So können die Wortgrenzen ohne explizite Trennsymbole rekonstruiert werden.
- Bei der Anwendung des Huffman-Algorithmus ist die Präfixfreiheit automatisch gegeben.
- mittlere Codewortlänge (Erwartungswert der Codewortlänge):
$$\overline n_L = \sum_{i=1}^{M_x^L} n_i \cdot p_i$$
mit $n_i$: Länge des Codewortes und $p_i$: Auftrittswahrscheinlichkeit des Codewortes

**TODO: Algorithmus schrittweise und mit hübschen Bildchen beschreiben**

- Abschätzung der mittleren Zahl von binären Codesymbolen je Quellensymbol
$$H(X) \leq \frac{\overline n_L}{L} \leq H(X) + \frac 1 L$$
Für $L \rightarrow \infty$ wird mit der Huffman-Codierung die Entropie erreicht!

### Wechselseitige Information
- Beobachtung von zwei Quellen:
$$
H(XY) = - \sum_{i=1}^{M_x} \sum_{j=1}^{M_y} \pr{x_i, y_i} \log_2(\pr{x_i, y_i})
$$
- *Bedingte Entropie*: Mittlerer Informationsgehalt über Quelle $X$ bei der Beobachtung von Quelle $Y$
$$
H(X|Y) = - \sum_{i=1}^{M_x} \sum_{j=1}^{M_y} \pr{x_i, y_i} \log_2(\pr{x_i|y_i})
$$
- $\pr{x_i, y_i}$: Verbundwahrscheinlichkeit - $\pr{x_i, y_i} = \pr{y_i} \cdot \pr{x_i | y_i}$
- $\pr{x_i | y_i}$: *bedingte* Wahrscheinlichkeit für $x_i$, wenn $y_i$ bekannt ist
- Wechselseitige Information - Informationsgewinn über $X$ bei der Beobachtung von $Y$
$$
\begin{align}
I(X;Y) =&\ H(X)-H(X|Y) \\
=&\ \sum_{i=1}^{M_x} \sum_{j=1}^{M_y} \pr{x_i, y_i} \log_2\left(\frac{\pr{x_i|y_i}}{\pr{y_i}}\right)
\end{align}
$$
## DÜ
$$

## CDMA

## OFDM

*Quelle: NTSus Skript WS 20/21^{ok pls don't sue for plagiarism}*