一、单项选择题
1. 信息的基本单位是什么？
比特（A）是信息的基本单位。
字节（B）、波特（C）和赫兹（D）均不是信息的基本单位。
2. 对于离散无记忆信源输出N个符号的序列，其熵的倍数是？
N倍（B）。当离散无记忆信源输出N个符号时，其熵等于单一信源熵的N倍。
其他选项（A、C、D）均不正确。
3. 属于无失真信源编码的是？
哈夫曼编码（C）属于无失真信源编码。
PCM（A）、DPCM（B）和均匀量化（D）均不属于无失真信源编码。
二、填空题
1. 连续信源的绝对熵为无穷大；离散无记忆信源的无失真变长编码效率最大可达1^[2][4][6]^。
2. 八进制信源的最大熵为3bit/符号；事件概率为1/8时的自信息量为3bit^[4][6]^。
3. 无记忆信源是指信源符号间统计独立；即时码的特征是任字均非其他码字前缀^[2][4]^。
三、计算题
1. 掷两粒骰子，求特定事件自信息量：
掷两粒骰子时，两骰子点数之和为特定数字时，可计算其自信息量，如两骰子点数之和为3的自信息量为4.17bit，两骰子点数之和为7的自信息量为2.58bit。^[7]^
2. 马尔可夫信源分析：
分析三状态马尔可夫链时，需建立状态转移方程，利用数学方法求解稳态概率，并验证平稳分布^[7]^。
四、简答题
1. 信源冗余度来源：
信源冗余度主要来源于符号间的相关性和符号概率分布的不均匀性^[4][6]^。
2. 信道容量定义：
信道容量定义为信道能传输的最大信息量（单位时间或符号）^[1]^。
3. 最大熵定理：
最大熵定理指出，在限峰功率或限平均功率的条件下，熵会达到最大值。具体来说，限峰功率时，均匀分布时熵最大；限平均功率时，高斯分布时熵最大^[4][6]^。
五、应用题
哈夫曼编码实现：
哈夫曼编码是一种有效的数据压缩编码方法。其实现步骤包括按符号概率降序排列、合并最小概率节点生成二叉树、标记左右分支，以及从根到叶路径生成码字。其主要特点是生成的前缀码具有最短的平均码长^[1][4]^。
