Polsl-Notes/TIiK/Ćwiczenia/2. Markow.md

Żródło generuje wiadomości 0, 1

Entropia źródła przy założeniach:

a) równoprawdopodobne i niezależne -

x={0,1} P_xi(1/2,1/2) H(X)=ld 2 = 1 bit

b) niezależne - p0=3/4 p1=1/4

H(x)=-3/4ld3/4-1/4ld1/4=0.81 Hb<Ha

c) źrodło z pamięcią, równo prawdopodobne

P(0/1)=P(1/0)=1/3

P(0)=P(1)=1/2 !2. Markow 2023-03-24 12.34.20.excalidraw P(0)=\frac{2}{3}P(0)+ \frac{1}{3}P(1) P(1)=\frac{2}{3}P(1)+ \frac{1}{3}P(0) P0+P1=1 p0=1/2=P1 H_{1}(x)=-\sum\sum P(x_{i}x_{j})ld P(x_{i}/x_{j )=}0.688

xjxi	P(xj)	P(xi/xj)	p(xixj)
00	1/2	2/3	1/3
01	1/2	1/3	1/6
10	1/2	1/3	1/6
11	1/2	2/3	1/3

Funkcja gęstości prawdopodobieństwa dla zmiennej ciągłej rozkład równomierny 0,2 !2. Markow 2023-03-24 13.21.16.excalidraw