第8讲——离散无记忆信源不等长编码.pdf

第八讲 第八讲 离散无记忆信源 离散无记忆信源 离散无记忆信源 不等长编码 不等长编码 不等长编码 Review 等长编码 消息集 码字集 { } { } v uL N 无失真 N L N D L K log ≥ log D ≥K N D LH U log ( ) R H U ( ) 几乎无失真 N D log R 典型序列 L 例题 掷硬币：正面出现p=0.25，这时信源熵H(U)=0.81 。 （1）若采用等长二元无错编码时， N R log 1 D η H (U ) / R 0.81 L （2 ）若采用只对典型序列编码，要求译码错误概率p e ≤10−5 ( H) /Uη R0.95 ，求L 0.05 ( ) H U ( ) /[ H( U) ηH] U0.95 +ε 可得 ε 0.0427 由 0.95 2 1 2 1 2 0.25[log 0.81] 0.75[log 又 σI − + 0=−.81] 0.471 0.25 0.75 2 σ I 7 =≥可得 L × 2.58 10 2 ε p e 也就是长度要达到2580万以上。 Morse 电码 A · – J · – – – S · · · B – · · · K – · –