2.2 KiB
Date
| Date | |
|---|---|
|
W latach 40 był jakiś claude: Matematyczne podstawy telekomunikacji
Ile danych można przesłać w jednej jednostce czasu?
Cały rozwój telekomunikacji zmierza do osiągnięcia tego limitu.
X - źródło informacji/źródło wiadomości
X=\{x_{0},x_{1},x_{2},x_{3}\}
x_0 słoneczko
x1 chmurki
x2 deszczuje
x3 śnieży
Każda z wiadomości ma swoje prawdopodobieństwo
{1/2,1/4,1/8,1/8}
$$\begin{cases}
\end{cases}$$ A B C D x0 00 0 0 0 x1 01 01 10 10 x2 10 011 110 110 x3 11 0111 1110 111
D jest nazywany kodem Huffmana
00 01 10 11 01 x0 x1 x2 x3 x1
Kod jednoznacznie dekodowalny i natychmiast dekodowalny
$\bar n$= 2 symbole/wiadomość
Jeżeli krótsza jest przedrostkiem dłuższej to kod nie jest natychmiast dekodowalny
01|0 x1
\bar{n} =1 7/8 symbolu binarnego na wiadomosc - aż 6% szybsza transmisja
c jest natychmiast dekodowalny, srednio tak samo jak above
\bar{n}_D = 1\cdot\frac{1}{2} + 2\cdot\frac{1}{4} +3\cdot \frac{1}{8}+3\cdot \frac{1}{8}=1.75
p(x0)=1 => I(x0)=0 nie ma informacji w informacji
X=\{x_{0},x_{1},x_{2},x_{3},x_{4}\}
I(x4)=DUŻO
Zawartość wiadomości w wiadomości: -logP(x_i)
-\ln P(x_{i}) - [nat]
-\log_{10}P(x_{i}) - [Hartley]
-\log_{2}P(x_{i}) - [bit]
-Ld P(x_{i}) - [bit] // -\log P(x_{i})[bit]
I(x)=\sum\limits_{i}P(x_{i})\cdot I(x_{i})=H(x) Średnia zawartość informacji w źródle wiadomości X
Inaczej Entropia źródła X
1.75 bit/wiadomość Entropia = 1 3/4BITa
Dla kodów binarnych
\bar{n}\geqslant H(x)
LZMAAAAAAAAAAAAAA
Znajdź entropię binarnego źródła wiadomości
{p, $\bar p$}={p,1-p}
a) p=0 H(x)=0 b) p=1 h(x)=0
Entropia osiąga maksimum (Ld N) dla wiadomości równo prawdopodobnych = P=1/N
Każde podwojenie liczby informacji zwiększa zawartość informacji o 1 bIT
oblicz max zawartość inf w zdjęciu 4000x2000pt kazdy z punktow ma 1 z 16mln kolorow (2^24) kolory sa niezalezne i rowno prawdopodobne
H(x) = Ld N
liczba kolorów ^ liczba pikseli
max strumień danych w 1 s filmu FHD60