---
# System prepended metadata

title: NT*Sus* Formelsammlung

---

<!-- LaTeX macros for easier math typesetting can be defined here -->
$$
\def\dbm{{\,\mathrm{dBm}}}
\def\unit#1{{\,\mathrm{#1}}}
\def\pr#1{{\mathrm{Pr}\{#1\}}}
$$

# NT*Sus* Formelsammlung
## Allgemeines
## Pegel
- $10 \cdot \log \left( \frac{x}{1 \unit{mW}} \right) = x \cdot \dbm =10 \log(x) + 30 \dbm$
- 
## Freiraum, ECB, Hilbert

## AM

## FM

## PCM

## DPCM

## Informationstheorie
- Informationsmaß nach SNNONNNON (sry da war ein Bitfehler drin)
$$
\def\pr#1{{\mathrm{Pr}\{#1\}}}
I(X)=-\log_2(\pr{X}) \qquad [\mathrm{bit}]
$$
- **Entropie** (mittlerer Informationsgehalt) einer Quelle mit Quellensymbolen $x_i$ mit $i \in 1, ..., M_x$
$$
H(X)= -\sum_{i=1}^{M_x} \pr{x_i}\log_2{(\pr{x_i})} \qquad \left[ \frac{\text{bit}}{\text{Quellensymbol}} \right]
$$
Die Entropie ist nichtnegativ und nach oben beschränkt. Es gilt:
$$
0 \leq H(X) \leq \log_2(M_x)
$$
- **Binäre Entropiefunktion** - Entropie bei *binärer Quelle* mit Quellsymbolwahrscheinlichkeiten $p$ und $1-p$
$$
\mathrm e_2(x) \stackrel{\text{def}}{=} -p \log_2(p) - (1-p) \log_2(1-p)
$$
Für  $p=0.5$ ist die Entropie mit 1 maximal. Die Unsicherheit über das beobachtete Ereignis ist dann am größten.
- **Quellencodierungstheorem**
Zur *umkehrbar* eindeutigen Repräsentation von Information durch Binärsymbole reichen *im Mittel* 
$$H(X)\ \frac{\text{Binärsymbole}}{\text{Quellensymbol}}$$ 
aus. Die Entropie bildet somit die untere Grenze für die "Kompression" der Information.
- **Huffman-Codierung**
    - Quellsymbole (z.B. $A$) oder Quellenwörter (bestehend aus mehreren Quellensymbolen, z.B. $ABA$) der Länge $L$ werden auf $M_x^L$ (Anzahl) *binäre Codewörter* mit variabler Länge (z.B. $01, 1100$) abgebildet
    - Quellenwörter mit großer Ereigniswahrscheinlichkeit werden kurze binäre Codewörter zugewiesen
    - Der Code ist *präfixfrei*. Kein Codewort darf *Präfix* eines anderen Codewortes sein. So können die Wortgrenzen ohne explizite Trennsymbole rekonstruiert werden.
        - Bei der Anwendung des Huffman-Algorithmus ist die Präfixfreiheit automatisch gegeben.
    - mittlere Codewortlänge (Erwartungswert der Codewortlänge): 
    $$\overline n_L = \sum_{i=1}^{M_x^L} n_i \cdot p_i$$
    mit $n_i$: Länge des Codewortes und $p_i$: Auftrittswahrscheinlichkeit des Codewortes
    
    
    **TODO: Algorithmus schrittweise und mit hübschen Bildchen beschreiben**    

    - Abschätzung der mittleren Zahl von binären Codesymbolen je Quellensymbol
    $$H(X) \leq \frac{\overline n_L}{L} \leq H(X) + \frac 1 L$$
    Für $L \rightarrow \infty$ wird mit der Huffman-Codierung die Entropie erreicht!
    
### Wechselseitige Information
- Beobachtung von zwei Quellen:
$$ 
H(XY) = - \sum_{i=1}^{M_x}  \sum_{j=1}^{M_y} \pr{x_i, y_i} \log_2(\pr{x_i, y_i})
$$
- *Bedingte Entropie*: Mittlerer Informationsgehalt über Quelle $X$ bei der Beobachtung von Quelle $Y$
$$ 
H(X|Y) = - \sum_{i=1}^{M_x}  \sum_{j=1}^{M_y} \pr{x_i, y_i} \log_2(\pr{x_i|y_i})
$$
    - $\pr{x_i, y_i}$: Verbundwahrscheinlichkeit - $\pr{x_i, y_i} = \pr{y_i} \cdot \pr{x_i | y_i}$
    - $\pr{x_i | y_i}$: *bedingte* Wahrscheinlichkeit für $x_i$, wenn $y_i$ bekannt ist
- Wechselseitige Information - Informationsgewinn über $X$ bei der Beobachtung von $Y$
$$
\begin{align}
I(X;Y) =&\ H(X)-H(X|Y) \\
       =&\ \sum_{i=1}^{M_x}  \sum_{j=1}^{M_y} \pr{x_i, y_i} \log_2\left(\frac{\pr{x_i|y_i}}{\pr{y_i}}\right)
\end{align}
$$
## DÜ
$$


## CDMA

## OFDM



*Quelle: NTSus Skript WS 20/21<sup>ok pls don't sue for plagiarism</sup>*