30 lines
766 B
Markdown
30 lines
766 B
Markdown
# Żródło generuje wiadomości 0, 1
|
|
Entropia źródła przy założeniach:
|
|
### a) równoprawdopodobne i niezależne -
|
|
x={0,1}
|
|
P_xi(1/2,1/2)
|
|
H(X)=ld 2 = 1 bit
|
|
### b) niezależne - p0=3/4 p1=1/4
|
|
H(x)=-3/4ld3/4-1/4ld1/4=0.81 Hb\<Ha
|
|
### c) źrodło z pamięcią, równo prawdopodobne
|
|
P(0/1)=P(1/0)=1/3
|
|
|
|
P(0)=P(1)=1/2
|
|
![[2. Markow 2023-03-24 12.34.20.excalidraw]]
|
|
$P(0)=\frac{2}{3}P(0)+ \frac{1}{3}P(1)$
|
|
$P(1)=\frac{2}{3}P(1)+ \frac{1}{3}P(0)$
|
|
$P0+P1=1$
|
|
p0=1/2=P1
|
|
$H_{1}(x)=-\sum\sum P(x_{i}x_{j})ld P(x_{i}/x_{j )=}0.688$
|
|
|
|
|xjxi|P(xj)|P(xi/xj)|p(xixj)|
|
|
|-|-|-|-|
|
|
|00|1/2|2/3|1/3|
|
|
|01|1/2|1/3|1/6|
|
|
|10|1/2|1/3|1/6|
|
|
|11|1/2|2/3|1/3|
|
|
|
|
|
|
|
|
Funkcja gęstości prawdopodobieństwa dla zmiennej ciągłej rozkład równomierny 0,2
|
|
![[2. Markow 2023-03-24 13.21.16.excalidraw]] |