154 lines
2.2 KiB
Markdown
154 lines
2.2 KiB
Markdown
---
|
|
Date: [20230306134848]
|
|
---
|
|
|
|
W latach 40 był jakiś claude:
|
|
Matematyczne podstawy telekomunikacji
|
|
|
|
Ile danych można przesłać w jednej jednostce czasu?
|
|
|
|
Cały rozwój telekomunikacji zmierza do osiągnięcia tego limitu.
|
|
|
|
|
|
X - źródło informacji/źródło wiadomości
|
|
$X=\{x_{0},x_{1},x_{2},x_{3}\}$
|
|
x_0 słoneczko
|
|
x1 chmurki
|
|
x2 deszczuje
|
|
x3 śnieży
|
|
|
|
Każda z wiadomości ma swoje prawdopodobieństwo
|
|
|
|
{1/2,1/4,1/8,1/8}
|
|
|
|
$$\begin{cases}
|
|
|
|
\end{cases}$$
|
|
A B C D
|
|
x0 00 0 0 0
|
|
x1 01 01 10 10
|
|
x2 10 011 110 110
|
|
x3 11 0111 1110 111
|
|
|
|
|
|
|
|
D jest nazywany kodem Huffmana
|
|
|
|
|
|
00 01 10 11 01
|
|
x0 x1 x2 x3 x1
|
|
|
|
Kod jednoznacznie dekodowalny i natychmiast dekodowalny
|
|
|
|
$\bar n$= 2 symbole/wiadomość
|
|
|
|
|
|
|
|
|
|
Jeżeli krótsza jest przedrostkiem dłuższej to kod nie jest natychmiast dekodowalny
|
|
|
|
|
|
|
|
01|0
|
|
x1
|
|
|
|
$\bar{n}$ =1 7/8 symbolu binarnego na wiadomosc - aż 6% szybsza transmisja
|
|
|
|
|
|
c jest natychmiast dekodowalny, srednio tak samo jak above
|
|
|
|
|
|
$\bar{n}_D = 1\cdot\frac{1}{2} + 2\cdot\frac{1}{4} +3\cdot \frac{1}{8}+3\cdot \frac{1}{8}=1.75$
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p(x0)=1 => I(x0)=0 nie ma informacji w informacji
|
|
|
|
|
|
|
|
$X=\{x_{0},x_{1},x_{2},x_{3},x_{4}\}$
|
|
I(x4)=DUŻO
|
|
|
|
Zawartość wiadomości w wiadomości: -logP(x_i)
|
|
|
|
|
|
$-\ln P(x_{i}) - [nat]$
|
|
|
|
$-\log_{10}P(x_{i}) - [Hartley]$
|
|
|
|
$-\log_{2}P(x_{i}) - [bit]$
|
|
|
|
$-Ld P(x_{i}) - [bit] // -\log P(x_{i})[bit]$
|
|
|
|
|
|
|
|
$I(x)=\sum\limits_{i}P(x_{i})\cdot I(x_{i})=H(x)$ Średnia zawartość informacji w źródle wiadomości X
|
|
|
|
Inaczej Entropia źródła X
|
|
|
|
|
|
|
|
1.75 bit/wiadomość
|
|
Entropia = 1 3/4BITa
|
|
|
|
|
|
|
|
|
|
Dla kodów binarnych
|
|
$\bar{n}\geqslant H(x)$
|
|
|
|
|
|
|
|
|
|
|
|
LZMAAAAAAAAAAAAAA
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Znajdź entropię binarnego źródła wiadomości
|
|
|
|
|
|
{p, $\bar p$}={p,1-p}
|
|
|
|
a) p=0
|
|
H(x)=0
|
|
b) p=1
|
|
h(x)=0
|
|
|
|
Entropia osiąga maksimum (Ld N) dla wiadomości równo prawdopodobnych = P=1/N
|
|
|
|
|
|
Każde podwojenie liczby informacji zwiększa zawartość informacji o 1 bIT
|
|
|
|
|
|
|
|
oblicz max zawartość inf w zdjęciu
|
|
4000x2000pt
|
|
kazdy z punktow ma 1 z 16mln kolorow (2^24)
|
|
kolory sa niezalezne i rowno prawdopodobne
|
|
|
|
|
|
H(x) = Ld N
|
|
|
|
|
|
liczba kolorów ^ liczba pikseli
|
|
|
|
|
|
|
|
|
|
max strumień danych w 1 s filmu FHD60
|