电子科大信息论与编码第5章 离散信道及信道容量.pdf

第5章 离散信道及信道容量 信道是传输信息的媒质，信道能通过的信息 量不仅与信道的物理特性有关，而且与携带 信息的信号形式和信源符号的统计特性有关。 信息论中所讨论的是物理特性一定的前提下 的信道，通常可将信道分为离散信道和连续 信道(continuous channel) ， 单符号离散信道 离散信道 无记忆信道 多符号离散信道 有记忆信道 另外，还可将信道分为单用户信道和多 用户信道(multi-way channels) 。 本章主要讨论的问题： ①从整体的角度，如何度量在离散信道 中流通的信息量？ ②在离散信道中流通的信息量能达到的 最大值是多少？ 一、单符号离散信道的信道容量 1、单符号离散信道的数学模型 单符号离散信源： ⎡ X ⎤ ⎧ x1 x2 L xn ⎫ ⎢ ⎥ ⎨ ⎬ ⎣P(X)⎦ p(x ) p(x ) L p(x ) ⎩ 1 2 n ⎭ n 0 ≤p(x ) ≤1, i 1,2, L, n 且 p(x ) 1 i ∑ i i 1 单符号离散信宿： ⎡ Y ⎤ ⎧ y1 y 2 L ym ⎫ ⎢ ⎥ ⎨ ⎬ ⎣P(Y)⎦ p(y ) p(y ) L p(y ) ⎩ 1 2 m ⎭ m 0 ≤p(y ) ≤1, j 1,2,L,m,且 p(y ) 1 j ∑ j j 1 通常m≥n X Y P(Y/X) 单符号离散信道的数学模型可表示为： ⎡p(y / x ) p(y / x ) L p(y / x )⎤ 1 1 2 1 m 1 ⎢ ⎥ p(y / x ) p(y / x ) L p(y