Żródło generuje wiadomości 0, 1
Entropia źródła przy założeniach:
a) równoprawdopodobne i niezależne - 
x={0,1}
P_xi(1/2,1/2)
H(X)=ld 2 = 1 bit
b) niezależne - p0=3/4 p1=1/4
H(x)=-3/4ld3/4-1/4ld1/4=0.81 Hb\<Ha
c) źrodło z pamięcią, równo prawdopodobne
P(0/1)=P(1/0)=1/3

P(0)=P(1)=1/2
![[2. Markow 2023-03-24 12.34.20.excalidraw]]
$P(0)=\frac{2}{3}P(0)+ \frac{1}{3}P(1)$
$P(1)=\frac{2}{3}P(1)+ \frac{1}{3}P(0)$
$P0+P1=1$
p0=1/2=P1
$H_{1}(x)=-\sum\sum P(x_{i}x_{j})ld P(x_{i}/x_{j )=}0.688$
|xjxi|P(xj)|P(xi/xj)|p(xixj)|
|-|-|-|-|
|00|1/2|2/3|1/3|
|01|1/2|1/3|1/6|
|10|1/2|1/3|1/6|
|11|1/2|2/3|1/3|



Funkcja gęstości prawdopodobieństwa dla zmiennej ciągłej rozkład równomierny 0,2
![[2. Markow 2023-03-24 13.21.16.excalidraw]]