設(shè)有一信源發(fā)出符號(hào)A和B，它們是相互獨(dú)立的，并已知p（A）=1/4，p（B）=3/4。
（1）計(jì)算信源熵。
（2）若用二進(jìn)制代碼組傳輸消息，A→0，B→1，求p（0）和p（1）。
（3）該信源發(fā)出二重符號(hào)消息時(shí)，采用費(fèi)諾編碼，求其平均傳輸速率R及兩個(gè)碼元的概率p（0）、p（1）。
（4）該信源發(fā)出三重符號(hào)消息時(shí)，采用霍夫曼編碼，求其平均傳輸速率R及兩個(gè)碼元的概率p（0）、p（1）。

一階馬爾可夫信源的狀態(tài)轉(zhuǎn)移圖如下圖所示，信源符號(hào)集為{0，1，2}。求：
（1）穩(wěn)態(tài)后信源的概率分布。
（2）信源熵。
（3）當(dāng)p=0或p=1時(shí)信源的熵，并說(shuō)明理由。

設(shè)有一信源，它產(chǎn)生0、1序列的消息。該信源在任意時(shí)間不論以前發(fā)生過(guò)什么消息符號(hào)，均按p（0）=0.4，p（1）=0.6的概率發(fā)出符號(hào)。
（1）這個(gè)信源是否平穩(wěn)？
（2）計(jì)算H（X²），H（X₃/X₁X₂），以及。
（3）計(jì)算H（X⁴），并寫(xiě)出X⁴信源可能發(fā)出的所有符號(hào)。