已知5个符号的信源A={a1,a2,……a5},若其概率分布为P={0.15、0.04、0.26、0.05、0.5}

题目

已知5个符号的信源A={a1,a2,……a5},若其概率分布为P={0.15、0.04、0.26、0.05、0.5}
求：
1、计算这个信源的熵
2、求解这个信源的霍夫曼码,
3、求平均码长

答案

1.H（X）=H（0.15,0.04,0.26,0.05,0.5）= 2.368 bit/符号
2.首先按概率的降序排列
{a5,a3,a1,a4,a2}
把最低的两个归为新的信源符号 概率相加
从根节点不断往下依次分配0,1
顺序如下：a2 a4最先归为新信源符号a1' p=0.09
a1' a1再归为新信源符号a2' p=0.24
a2' a3归为新的信源符号a3' p=0.5
只剩a3' a5 结束
分配如下：给a5 编码0 a3'编码1
a3 0 a2' 1
a1 0 a1' 1
a4 0 a2 1
故信源的霍夫曼编码如下：a5 0； a3 10；a1 110；a4 1110；a2 1111；
3.平均码长L=1*0.5+2*0.26+3*0.15+4*0.05+4*0.04=1.83
如果霍夫曼编码那部分过程不满意 可以HI我 我做在纸上拍下来传你
纯手打