---
Date: [20230306134848]
---

W latach 40 był jakiś claude:
Matematyczne podstawy telekomunikacji

Ile danych można przesłać w jednej jednostce czasu?

Cały rozwój telekomunikacji zmierza do osiągnięcia tego limitu.


X - źródło informacji/źródło wiadomości
$X=\{x_{0},x_{1},x_{2},x_{3}\}$
x_0 słoneczko
x1 chmurki
x2 deszczuje
x3 śnieży

Każda z wiadomości ma swoje prawdopodobieństwo

{1/2,1/4,1/8,1/8}

$$\begin{cases}

\end{cases}$$
      A      B            C         D
x0  00     0             0         0
x1  01      01         10         10
x2  10      011      110        110
x3  11      0111   1110        111



D jest nazywany kodem Huffmana


00 01 10 11 01
x0 x1 x2 x3 x1

Kod jednoznacznie dekodowalny i natychmiast dekodowalny

$\bar n$= 2 symbole/wiadomość




Jeżeli krótsza jest przedrostkiem dłuższej to kod nie jest natychmiast dekodowalny



01|0
x1

$\bar{n}$ =1 7/8 symbolu binarnego na wiadomosc - aż 6% szybsza transmisja


c jest natychmiast dekodowalny, srednio tak samo jak above


$\bar{n}_D = 1\cdot\frac{1}{2} + 2\cdot\frac{1}{4} +3\cdot \frac{1}{8}+3\cdot \frac{1}{8}=1.75$








p(x0)=1 => I(x0)=0  nie ma informacji w informacji



$X=\{x_{0},x_{1},x_{2},x_{3},x_{4}\}$
I(x4)=DUŻO

Zawartość wiadomości w wiadomości: -logP(x_i)


$-\ln P(x_{i})   -  [nat]$

$-\log_{10}P(x_{i})   - [Hartley]$

$-\log_{2}P(x_{i}) -   [bit]$

$-Ld P(x_{i}) - [bit] // -\log P(x_{i})[bit]$



$I(x)=\sum\limits_{i}P(x_{i})\cdot I(x_{i})=H(x)$ Średnia zawartość informacji w źródle wiadomości X

Inaczej Entropia źródła X



1.75 bit/wiadomość
Entropia = 1 3/4BITa




Dla kodów binarnych
$\bar{n}\geqslant H(x)$





LZMAAAAAAAAAAAAAA












Znajdź entropię binarnego źródła wiadomości


{p, $\bar p$}={p,1-p}

a) p=0
H(x)=0
b) p=1
h(x)=0

Entropia osiąga maksimum (Ld N) dla wiadomości równo prawdopodobnych = P=1/N


Każde podwojenie liczby informacji zwiększa zawartość informacji o 1 bIT



oblicz max zawartość inf w zdjęciu 
4000x2000pt
kazdy z punktow ma 1 z 16mln kolorow (2^24)
kolory sa niezalezne i rowno prawdopodobne


H(x) = Ld N


liczba kolorów ^ liczba pikseli




max strumień danych  w 1 s filmu FHD60