《信息论与编码》课后习题解答

2021年2月26日发(作者：婚姻内外)
《信息论与编码》课后习题解答

2.2
假设一副充分洗乱了的扑克牌（含
52
张牌）
，试问

(1)
任一特定排列所给出的信息量是多少？

(2)
若从中抽取
13
张牌，所给出的点数都不相同能得到多少信息量？

解：

(1) 52
张牌共有
52
！种排列方式，任一特定 的排序方式是等概率出现的，则所给出的信息量是：

p
(
x
i
)
?
1

52
!
I
(
x
i
)
?
?
log
p(
x
i
)
?
log
52
!
?
225
.
581

bit

(2) 52
张牌共 有
4
种花色、
13
种点数，从中抽取
13
张点数不同的牌的 概率如下：

4
13
p
(
x
i
)
?
13
C
52
I
(
x
i
)
??
log
p
(
x
i
)
?
?
l og
4
?
13
.
208

bit
13
C
52
13

2.3
居住某 地区的女孩子有
25%
是大学生，在女大学生中有
75%
是身高
16 0
厘米以上的，而女孩子中身高
160
厘米以上的占总数的一半。假如我们得知“身高
160
厘米以上的某女孩是大学生”的消息，问获得多
少信息量？

解：
设随机变量
X
代表女孩子学历，则是大学生的概率为
P(
x)< br>1
=0.25
，不是大学生的概率为
P(
x)
2

=0.75
。

设随机变量
Y
代表女孩子身高
,< br>则身高大于
160cm
和小于
160cm
的概率分别为
P(y
1
)=0.5
、
P(y
2
)=0.5

又 有已知：在女大学生中有
75%
是身高
160
厘米以上的，

即：
p
(
y
1
/
x
1
)
?0
.
75

bit

所以身高
160
厘米以上的某女孩是大学生的信息量

即：
I
(
x
1
/
y
1
)
?
?
log
p
(
x
1
/
y
1
)
??
log
p
(
x
1
)
p
(
y
1
/
x
1
)
0
.
25
?
0
.
75
?
?
log
?
1
.
41 5

bit

p
(
y
1
)
0
.
5
2.4 设离散无记忆信源
?
?
X
?
?
x
1
?
0
x
2
?
1
x
3
?
2
x
4
?
3
?
?
?
?
，其发出的信息为
?
1
/
4
1
/
4
1
/
8
?
?
P
(
X
)
?
?
3
/
8
(221223210)
，求

(1)
此消息的自信息量是多少？

(2)
此消息中平均每符号携带的信息量是多少？

解：

(1)
此消息总共有
14
个
0
、
13
个
1
、< br>12
个
2
、
6
个
3
，因此此消息发出的概率 是：

?
3
?
?
1
?
?
1
?
p
?
?
?
?
?
?
?
?
?

?
8
?
?
4
?
?
8
?

bit

此消息的信息量是：
I
?
?
log
p
?
87
.
811
(2)
此消息中平均每符号携带的信 息量是：
I
/
n
?
87
.
811
/
45
?
1
.
951

bit


2.5
从大量统计资料知道，男性中红绿色盲的发病率为
7%
，女性发病率 为
0.5%
，如果你问一位男士：
“你
是否是色盲？”他的回答可能是“是”
，可能是“否”
，问这两个回答中各含多少信息量，平均每个回答中
含有多少信息量？ 如果问一位女士，则答案中含有的平均自信息量是多少？

解：

1

14
25
6