有一離散無記憶信源,其輸出為X∈{0,1,2},相應的概率為p0=1/4,p1=1/4,p2=1/2,設計兩個獨立的實驗去觀察它,其結果分別為Y1∈{0,1},Y2∈{0,1},已知條件概率: (1)求I(X;Y1)和I(X;Y2),并判斷哪一個實驗好些 (2)求I(X;Y1Y2),并計算做Y1和Y2兩個實驗比做Y1和Y2中的一個實驗可多得多少關于X的信息 (3)求I(X;Y1|Y2)和I(X;Y2|Y1),并解釋它們的含義
一階馬爾可夫信源的狀態(tài)圖如圖所示,信源X的符號集為(0,1,2)。 (1)求信源平穩(wěn)后的概率分布P(0),P(1),P(2) (2)求此信源的熵 (3)近似認為此信源為無記憶時,符號的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與H∞進行比較
有一個一階平穩(wěn)馬爾可夫鏈X1,X2,X3,Xr,各Xr取值于集合A={a1,a2,a3},已知起始概率P(Xr)為p1=1/2,p2=p3=1/4,轉移概率如下圖所示: (1)求(X1,X2,X3)的聯(lián)合熵和平均符號熵 (2)求這個鏈的極限平均符號熵 (3)求H0,H1,H2和它們說對應的冗余度