【篇一：西电邓家先版信息论与编码第3章课后习题解
答】
6 x1 1/6 y1 3/4 1/4 x2
图3.1 二元信道 y2
?x??x1x2???=?0.60.4?通过一干扰信道，接收符号y=?y1y2?,信道传递概率如p(x)????图3.33所示。求：
（1） 信源x中事件x1,和x2分别含有的自信息。
（2） 收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。 （3） 信源x和信源y的信息熵。
（4） 信道疑义度h（x|y）和噪声熵h（y|x）。 （5） 接收到消息y后获得的平均互信息。
解：（1）由定义得：i（x1）= －log0.6=0.74bit i（x2）= －log0.4=1.32bit
i（xi；xj）= i（xi）－i（xi|yj）=log[p（xi|yj）/p（xi）] = log[p（yj|xi）/p（yj）]
则 i（x1；y1）= log[p（y1|x1）/p（y1）]=log5/6/0.8=0.059bit i（x1；y2）= log[p（y2|x2）/p（y2）]=log1/6/0.2=-0.263biti（x2；y1）= log[p（y1|x2）/p（y1）]=log3/4/0.8=-0.093bit i（x2；y2）= log[p（y2|x2）/p（y2）]=log1/4/0.2=0.322bit （3）由定义显然 h（x）=0.97095bit/符号 h（y）=0.72193bit/符号 （4）h（y|x）= ? 2 2
p（xy）log[1/p（y|x）] =
??
i?1j?1
p（xi）p（yj|xi）log[1/p（yj|xi）]
h（x|y）= h（x）+h（y|x）－h（y）=0.9635bit/符号 (5) i（x；y）= h（x）－h（x|y）=0.00745 bit/符号
3.2设8个等概率分布的消息通过传递概率为p的bsc进行传送。八个消息相应编成下述码字：
m1=0000, m2=0101, m3=0110, m4=0011, m5=1001, m6=1010, m7=1100, m8=1111, 试问 (1) 接受到第一个数字0与m之间的互信息。
(2) 接受到第二个数字也是0时，得到多少关与m的附加互信息。(3) 接受到第三个数字仍是0时，又增加多少关与m的互信息。(4) 接受到第四个数字还是0时，再增加了多少关与m的互信息。 解： (1 ) i(0;m1)= log[ p(0|m1)/p(0)]=1 bit
(2 ) i(00;m1)= log[ 1/p(00)]=2 bit2－1=1 bit(3 ) i(000;m1)=3 bit 3－2=1 bit(4 ) i(0000;m1)=4 bit4－3=1 bit 3.3 设二元对称信道的传递矩阵为 ?2?3??1??3 1?3?? 2??3?
（1） 若p(0)?3/4,p(1)?1/4，求h(x),h(x|y),h(y|x)和i(x;y)； （2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：（1）已知二元对称信道的传递矩阵，又已知输入的概率分布p(0)?3/4,p(1)?1/4,
可以求得输出y的概率分别和后验概率。 p(y?0)??p(x)p(y?0|x) x
?p(x?0)p(y?0|x?0)?p(x?1)p(y?0|x?1)
32117?????434312p(y?1)??p(x)p(y?1|x) x
?p(x?0)p(y?1|x?0)?p(x?1)p(y?1|x?1) 31125?????434312 所以p(x?0|y?0)? p(x?0)p(y?0|x?0)6 ?
p(x)p(y?0|x)7x p(x?1|y?0)?
p(x?1)p(y?0|x?1)1 ?
p(x)p(y?0|x)7x
p(x?0|y?1)?
p(x?0)p(y?1|x?0)3 ?
p(x)p(y?1|x)5 x
p(x?1|y?1)? 于是，h(x)??
p(x?1)p(y?1|x?1)2 ?
p(x)p(y?1|x)5x
?p(x)logp(x)?0.811比特/符号 xx y
h(x|y)????p(x)p(y|x)logp(x|y) 326111313122
?[??log??log??log??log]
437437435435?0.111?0.234?0.184?0.220?0.749比特/符号 h(y|x)????p(x)p(y|x)logp(y|x) x y
322111311122?[??log??log??log??log] 433433433433?0.918比特/符号
i(x;y)?h(x)?h(x|y)?0.062比特/符号
（2）此信道为二元对称信道，所以信道容量 2
c?1?h(p)?1?h()?0.082比特/符号 3
根据二元对称信道的性质可知，输入符号为等概率分布（即p(0)?p(1)?道的信息传输率才能达到这个信道容量值。 1
）时信2 解：
x2??x??x1?y??y1y2?
?p(x)???0.640.36?, ?p(y)???0.70.3? ???????? 且p（x1∣y1）＝0.8 p(x2∣y1)=0.2 由p(x1)＝p(y1)p(x1∣y1)+p(y2)p(x1∣y2) p(x2)＝p(y1)p(x2∣y1)+p(y2)p(x2∣y2)
得p(x2∣y2)＝2.2/3 p(x1∣y2)＝0.8/3
所以h(x∣y)＝p(y1)〔-p(x1∣y1)logp(x1∣y1)-p(x2∣y1)logp(x2∣y1)〕
+ p(y2)〔-p(x1∣y2)logp(x1∣y2)-p(x2∣y2)logp(x2∣y2)〕 ＝0.7〔-0.8log0.8-0.2log0.2〕
+0.3〔-0.8/3log(0.8/3)-2.2/3log(2.2/3)〕
＝0.7 [0.258+0.464]+0.3[0.509+0.328]＝0.505+0.251=0.756
h(x) ＝-0.64log0.64-0.36log0.36=0.412+0.531=0.944 i(x;y)＝h(x)-h(x∣y)＝0.944-0.756=0.188
3.5若x,y,z是三个随机 变量，试证明：
（1）i(x;yz)=i(x;y)+i(x;z|y)=i(x;z)+i(x;y|z); （2）i(x;y|z)=i(y;x|z)=h(x|z)－h(x|yz); （3）i(x;y|z)?0; 证明：
(1) i(x)+i(x;z/y) =
??p(xy)log x y
p(y/x) +?p(y)x
??p(xyz)logp(x/y) y z
p(x/yz) = ?? x y
?p(xyz)log z
p(x/yz)p(y/x)
p(y)p(x/y)p(x/yz)p(y/x) p(xy)p(x/yz)p(y/x)
p(x)p(y/x)p(x/yz)p(y/x) p(x) = ?? x y
x y
?p(xyz)log zz =
???p(xyz)log?? x y =
?p(xyz)log z
=i(x;yz) i(x;z)+i(x;y/z) = ? xx
?p(xz)log z
p(z/x) +?p(z)x ? y
?p(xyz)log z
p(x/yz) p(x/z) = ?? y x y
?p(xyz)log zz
p(x/yz)p(z/x)
p(z)p(x/z)p(x/yz)p(z/x) p(x)p(z/x) =
???p(xyz)log = ?? x y
?p(xyz)log z
p(x/yz) p(x)
=i(x;yz) (2) i(x;y/z) = ?? x y x y
?p(xyz)log z
p(x/yz) p(x/z) =
???? x y
?p(xyz)log z
p(xyz)p(z)
p(xz)p(yz)p(y/xz)p(xz)p(z) p(y/z)p(z)p(xz)p(y/xz) p(y/z) =
?p(xyz)log z = ?? x y
?p(xyz)log z
=i(y;x/z)
h(x/z)－h(x/yz) = ?p(xz)log xzxyz 1 ?
p(x/z)p(x/yz)
p(x/z)
?p(xyz)log xyz 1
p(x/yz) =
?p(xyz)log =i(x;y/z)
i(x;y/z)=i(y;x/z)=h(x/z)－h(x/yz) (3) i(x;y/z)≥0 i(x;y/z)=
?p(xyz)logp(yz)p(x/z) xyz p(xyz)
－i(x;y/z)= ?p(xyz)log xyz
p(yz)p(x/z)
≤log???p(yz)p(x/z)=0 p(xyz)xyz 得 i(x;y/z)≥0
3.6若三个离散随机变量，有如下关系：x+y=z,其中x和y相互统计独立。试证明：
(1) h(x)=h(z); (2) h(y)=h(z);
(3) h(z)= h(xy)= h(x)+ h(y); (4) i(x;z)=h(z)－h(y); (5) i(xy;z)= h(z); (6) i(x;yz)= h(x); (7) i(y;z/x)= h(y); (8) i(x;y/z)= i(x/z)= i(y/z);
【篇二：信息论答案第三章】
3.1 设信源????通过一干扰信道，接收符号为y = { y1, y2 }，信道转移矩?
?p(x)??0.60.4??51??? 阵为?66?，求： 13???44?
(1) 信源x中事件x1和事件x2分别包含的自信息量；
(2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 信源x和信宿y的信息熵；
(4) 信道疑义度h(x/y)和噪声熵h(y/x)； (5) 接收到信息y后获得的平均互信息量。
解： 1)
i(x1)??log2p(x1)??log20.6?0.737biti(x2)??log2p(x2)??log20.4?1.322bit 2) 51
p(y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?0.6??0.4??0.6 6413
p(y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?0.6??0.4??0.4 64
p(y1/x1)5/6
i(x1;y1)?log2?log2?0.474bit p(y1)0.6p(y2/x1)1/6
i(x1;y2)?log2?log2??1.263bit
p(y2)0.4i(x2;y1)?log2i(x2;y2)?log2 3)
p(y1/x2)1/4
?log2??1.263bit
p(y1)0.6p(y2/x2)3/4 ?log2?0.907bit p(y2)0.4
h(x)???p(xi)logp(xi)??(0.6log0.6?0.4log0.4)log210?0.971bit/symbol i
h(y)???p(yj)logp(yj)??(0.6log0.6?0.4log0.4)log210?0.971bit/symbol j 4)
h(y/x)????p(xi)p(yj/xi)logp(yj/xi) i j
55111133
??(0.6?log?0.6?log?0.4?log?0.4?log)?log210 66664444
?0.715bit/symbol
?h(x)?h(y/x)?h(y)?h(x/y)?h(x/y)?h(x)?h(y/x)?h(y) ?0.971?0.715?0.971?0.715bit/symbol 5)
i(x;y)?h(x)?h(x/y)?0.971?0.715?0.256bit/symbol ?21? ??
3.2 设二元对称信道的传递矩阵为?33? 12???33?
(1) 若p(0) = 3/4, p(1) = 1/4，求h(x), h(x/y), h(y/x)和i(x;y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) 3311
h(x)???p(xi)??(?log2??log2)?0.811bit/symbol 4444ih(y/x)????p(xi)p(yj/xi)logp(yj/xi) i j
322311111122
??(?lg??lg??lg??lg)?log210 433433433433
?0.918bit/symbol 3211
p(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?????0.5833
43433112
p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.4167
4343
h(y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980bit/symbol j
i(x;y)?h(x)?h(x/y)?h(y)?h(y/x)
h(x/y)?h(x)?h(y)?h(y/x)?0.811?0.980?0.918?0.749bit/symboli(x;y)?h(x)?h(x/y)??0.811?0.749?0.062bit/symbol 2)
1122
c?maxi(x;y)?log2m?hmi?log22?(lg?lg)?log210?0.082bit/symbol
3333 1
p(xi)? 2
解：
对本题建立数学模型如下：
?x阻值??x1?2??x2?5????y瓦数??y1?1/8 ? ??????0.7??0.3??p(x)???p(y)??0.64 p(y1/x1)?0.8,p(y2/x1)?0.2求：i(x;y) 以下是求解过程： y2?1/4? ?0.36?
p(x1y1)?p(x1)p(y1/x1)?0.7?0.8?0.56p(x1y2)?p(x1)p(y2/x1)?0.7?0.2?0.14?p(y1)?p(x1y1)?p(x2y1)
?p(x2y1)?p(y1)?p(x1y1)?0.64?0.56?0.08?p(y2)?p(x1y2)?p(x2y2) ?p(x2y2)?p(y2)?p(x1y2)?0.36?0.14?0.22
h(x)???p(xi)???0.7?log20.7?0.3?log20.3??0.881bit/symbol i
h(y)???p(yj)???0.64?log20.64?0.36?log20.36??0.943bit/symbol j
h(xy)????p(xiyj)logp(xiyj) i j
???0.56?log20.56?0.14?log20.14?0.08?log20.08?0.22?log20.22??1.638bit/symbol
i(x;y)?h(x)?h(y)?h(xy)?0.881?0.943?1.638?0.186bit/symbol (1) i(x;yz) = i(x;y) + i(x;z/y) = i(x;z) + i(x;y/z)； 证明：
i(x;yz)????p(xiyjzp(xi/yjzk)k)log i j k
p(xi) ????p(xp(xi/yjzk)p(xi/yj)iyjzk)log i j k
p(xi)p(xi/yj)
????p(xp(xi/yj)p(xi/yjzk)iyjzk)log p(x?p(xiyjzk)log i j k i)
???i j k
p(xi/yj)
?i(x;y)?i(x;z/y)
i(x;yz)????p(xp(xi/yjzk)iyjzk)log i j k
p(xi) ????p(xiyjzk)log p(xi/yjzk)p(xi/zk) i j k
p(xi)p(xi/zk)
????p(xp(xi/zk) iyjzk)log ?i j k
p(x???p(xlog
p(xi/yjzk)iyjzk)i)ijk
p(xi/zk) ?i(x;z)?i(x;y/z)
(2) i(x;y/z) = i(y;x/z) = h(x/z) – h(x/yz)； 证明：
i(x;y/z)????p(xxi/yjzk)iyjzk)log p(i j k
p(xi/zk)
????p(xi/yjzk)p(yjzk) iyjzk)log p(xi j
k
p(xi/zk)p(yjzk) ????p(xiyjzk)log i j k
p(xiyjzk)p(xi/zk)p(zk)p(yj/zk)p(xiyjzk)p(xizk)p(yj/zk)p(xiyjzk)p(xizk)p(yj/zk)p(yj/xizk)p(yj/zk) ????p(xiyjzk)log i j k
????p(xiyjzk)log i j k
????p(xiyjzk)log i j k
?i(y;x/z)
p(xi/yjzk)p(xi/zk) i j k
i(x;y/z)????p(xiyjzk)log i j k i j k
?????p(xiyjzk)logp(xi/zk)????p(xiyjzk)logp(xi/yjzk)?? ??????p(xiyjzk)?logp(xi/zk)?h(x/yz) ik?j?
????p(xizk)logp(xi/zk)?h(x/yz) i k
?h(x/z)?h(x/yz)
(3) i(x;y/z) ≥0，当且仅当(x, y, z)是马氏链时等式成立。 证明：
?i(x;y/z)????p(xiyjzk)log i j k
p(xi/yjzk)p(xi/zk)p(xi/zk) p(xi/yjzk)
??i(x;y/z)????p(xiyjzk)log i j k
?p(xi/zk)?? ????p(xiyjzk)?1?log2e??ijk?p(xi/yjzk)? ??p(xi/zk)? ????p(xiyjzk)????p(xiyjzk)?log2e
?ijk?p(xi/yjzk)ijk??????? ?????p(yjzk)?p(xi/zk)?1?log2e?i? ???jk???
???p(xi/zk)?1?log2e ?i?
?0?i(x;y/z)?0 当
p(xi/zk)
?1?0时等式成立 p(xi/yjzk)
?p(xi/zk)?p(xi/yjzk)
?p(yjzk)p(xi/zk)?p(xi/yjzk)p(yjzk)?p(zk)p(yj/zk)p(xi/zk)?p(xiyjzk)?p(yj/zk)p(xi/zk)?p(xiyjzk)/p(zk)?p(yj/zk)p(xi/zk)?p(xiyj/zk) 所以等式成立的条件是x, y, z是马氏链
3.5若三个随机变量，有如下关系：z = x + y，其中x和y相互独立，试证明：
(1) i(x;z) = h(z) - h(y)； (2) i(xy;z) = h(z)； (3) i(x;yz) = h(x)； (4) i(y;z/x) = h(y)；
(5) i(x;y/z) = h(x/z) = h(y/z)。 解： 1) ?z?x?y
?p(z/x)???
p(yj) (zk?xi)?y ki)?p(zk?xi?0
(zk?xi)?yh(z/x)????p(xizk)log2p(zk/xi) i
k
???p(x?/x?
i)??p(zk/xi)log2p(zki)i?k?? ???p(x?p(y? i)??j)log2p(yj)? i?j?
?h(y)?i(x;z)?h(z)?h(z/x)?h(z)?h(y) 2)
?z?x?y
?p(z)????
1 (xi?yj)?zkk/xiyj??0(xi?yj)?zk
h(z/xy)?????p(xiyjzk)log2p(zk/xiyj) i j k
????p(x?x?
iyj)??p(zk/xiyj)log2p(zk/iyj)ij?k? ? ?0
?i(xy;z)?h(z)?h(z/xy)?h(z)?0?h(z) 3)
【篇三：《信息论与编码》课后习题解答】
txt>2.2 假设一副充分洗乱了的扑克牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解：
(1) 52张牌共有52！种排列方式，任一特定的排序方式是等概率出现的，则所给出的信息量是： p(xi)?1 52! i(xi)??logp(xi)?log52!?225.581 bit
(2) 52张牌共有4种花色、13种点数，从中抽取13张点数不同的牌的概率如下： 413
p(xi)?13c52
i(xi)??logp(xi)??log4?13.208 bit13c5213
2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一
半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：设随机变量x代表女孩子学历，则是大学生的概率为p(x)1 =0.25，不是大学生的概率为p(x)2 =0.75。 设随机变量y代表女孩子身高,则身高大于160cm和小于160cm的概率分别为p(y1)=0.5、p(y2)=0.5 又有已知：在女大学生中有75%是身高160厘米以上的， 即：p(y1/x1)?0.75 bit
所以身高160厘米以上的某女孩是大学生的信息量 即：
i(x1/y1)??logp(x1/y1)??logp(x1)p(y1/x1)0.25?0.75??log?1.415 bit p(y1)0.5
2.4 设离散无记忆信源??x??x1?0x2?1x3?2x4?3????，其发出的信息为?1/41/41/8??p(x)??3/8
(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？
(2) 此消息中平均每符号携带的信息量是多少？ 解：
(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：
?3??1??1?p????????? ?8??4??8? bit 此消息的信息量是：i??logp?87.811
(2) 此消息中平均每符号携带的信息量是：i/n?87.811/45?1.951 bit 2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ 解： 1
14256 男士：
p(xy)?7%
i(xy)??logp(xy)??log0.07?3.837 bit p(xn)?93%
i(xn)??logp(xn)??log0.93?0.105 bit
h(x)???p(xi)logp(xi)??(0.07log0.07?0.93log0.93)?0.366 bit/symbol i2
女士：
h(x)???p(xi)logp(xi)??(0.005log0.005?0.995log0.995)?0.045 bit/symbol i2
2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；
(3) 两个点数的各种组合（无序）对的熵和平均信息量； 解： (1)
11111p(xi)?????666618 i(xi)??logp(xi)??log
(2) 1?4.170 bit18 111p(xi)???6636 1i(xi)??logp(xi)??log?5.170 bit36 (3)
两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64
共有21种组合： 15 25 35 45 55 65 16 26 36 46 56 66 其中11，22，33，44，55，66的概率是
其他15个组合的概率是2?111?? 6636111?? 6618
1111??h(x)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol 361818??36i 2
因篇幅问题不能全部显示，请点此查看更多更全内容