vault backup: 2023-03-07 08:29:39

TIiK/Wykład/1..md

@@ -2,3 +2,152 @@
 Date: [20230306134848]
 ---
 
+W latach 40 był jakiś claude:
+Matematyczne podstawy telekomunikacji
+
+Ile danych można przesłać w jednej jednostce czasu?
+
+Cały rozwój telekomunikacji zmierza do osiągnięcia tego limitu.
+
+
+X - źródło informacji/źródło wiadomości
+$X=\{x_{0},x_{1},x_{2},x_{3}\}$
+x_0 słoneczko
+x1 chmurki
+x2 deszczuje
+x3 śnieży
+
+Każda z wiadomości ma swoje prawdopodobieństwo
+
+{1/2,1/4,1/8,1/8}
+
+$$\begin{cases}
+
+\end{cases}$$
+      A      B            C         D
+x0  00     0             0         0
+x1  01      01         10         10
+x2  10      011      110        110
+x3  11      0111   1110        111
+
+
+
+D jest nazywany kodem Huffmana
+
+
+00 01 10 11 01
+x0 x1 x2 x3 x1
+
+Kod jednoznacznie dekodowalny i natychmiast dekodowalny
+
+$\bar n$= 2 symbole/wiadomość
+
+
+
+
+Jeżeli krótsza jest przedrostkiem dłuższej to kod nie jest natychmiast dekodowalny
+
+
+
+01|0
+x1
+
+$\bar{n}$ =1 7/8 symbolu binarnego na wiadomosc - aż 6% szybsza transmisja
+
+
+c jest natychmiast dekodowalny, srednio tak samo jak above
+
+
+$\bar{n}_D = 1\cdot\frac{1}{2} + 2\cdot\frac{1}{4} +3\cdot \frac{1}{8}+3\cdot \frac{1}{8}=1.75$
+
+
+
+
+
+
+
+
+p(x0)=1 => I(x0)=0  nie ma informacji w informacji
+
+
+
+$X=\{x_{0},x_{1},x_{2},x_{3},x_{4}\}$
+I(x4)=DUŻO
+
+Zawartość wiadomości w wiadomości: -logP(x_i)
+
+
+$-\ln P(x_{i})   -  [nat]$
+
+$-\log_{10}P(x_{i})   - [Hartley]$
+
+$-\log_{2}P(x_{i}) -   [bit]$
+
+$-Ld P(x_{i}) - [bit] // -\log P(x_{i})[bit]$
+
+
+
+$I(x)=\sum\limits_{i}P(x_{i})\cdot I(x_{i})=H(x)$ Średnia zawartość informacji w źródle wiadomości X
+
+Inaczej Entropia źródła X
+
+
+
+1.75 bit/wiadomość
+Entropia = 1 3/4BITa
+
+
+
+
+Dla kodów binarnych
+$\bar{n}\geqslant H(x)$
+
+
+
+
+
+LZMAAAAAAAAAAAAAA
+
+
+
+
+
+
+
+
+
+
+
+
+Znajdź entropię binarnego źródła wiadomości
+
+
+{p, $\bar p$}={p,1-p}
+
+a) p=0
+H(x)=0
+b) p=1
+h(x)=0
+
+Entropia osiąga maksimum (Ld N) dla wiadomości równo prawdopodobnych = P=1/N
+
+
+Każde podwojenie liczby informacji zwiększa zawartość informacji o 1 bIT
+
+
+
+oblicz max zawartość inf w zdjęciu 
+4000x2000pt
+kazdy z punktow ma 1 z 16mln kolorow (2^24)
+kolory sa niezalezne i rowno prawdopodobne
+
+
+H(x) = Ld N
+
+
+liczba kolorów ^ liczba pikseli
+
+
+
+
+max strumień danych  w 1 s filmu FHD60

TIiK/Wykład/Wykład.md

@@ -1,5 +1,8 @@
 Wykłady są **OBOWIĄZKOWE**
 
+RAU3
+markow_ham
+
 Pierwsza połowa: Teoria informacji
 Druga Kodowanie
 # Wykład Overview