情報理論ハンズオンセンター

情報理論の基礎（情報量・エントロピー・符号化など）を視覚的・体験的に学ぶ

通信路容量と伝送速度

情報理論の基本的な概念である情報源符号化（ハフマン符号）と通信路符号化（(7,4)ハミング符号）が、誤りのある通信路でどのように機能するかを体験します。

通信路として「2元対称通信路」というモデルを使用します。これは、送信されたビット（0または1）が、ある一定の確率 p で反転する（0が1に、1が0になる）最も基本的な通信路のひとつです。

Binary symmetric channel

入力したメッセージがハフマン符号で圧縮され、さらに(7,4)ハミング符号で誤り訂正能力を付加された後、この2元対称通信路を通過します。ビット誤り確率 $p$ を変化させながら、どの程度の誤り率までメッセージを正確に復元できるのか、また通信路符号化定理で示される理論限界（通信路容量 $C$）と符号の伝送速度 $R$ の関係がどのように影響するのか観察します。

1. 設定

2. 理論的背景

使用する(7,4)ハミング符号の伝送速度 $R$ は、$R = k/n = 4/7 \approx 0.5714$ です。

設定された通信路のビット誤り確率 $p=$ のとき、 二元エントロピー関数 $H_2(p) = -p \log_2 p - (1-p) \log_2 (1-p) \approx$ となります。

これにより、この2元対称通信路の通信路容量 $C$ は $C = 1 - H_2(p) \approx$ です。

通信路符号化定理について

通信路符号化定理（シャノンの第二定理）は、信頼性の高い通信の限界を示します。伝送速度 $R$ が通信路容量 $C$ より小さい場合 ($R < C$) のみ、誤り確率を任意に小さくできる符号化・復号方式が存在し、信頼性の高い通信が可能となります。逆に、$R > C$ となる場合、原理的にエラーなしでの通信は不可能になります。このシミュレーションでは、$p$ の値によって $C$ が変化し、$R$ と $C$ を比較することで、特定の伝送速度を持つ(7,4)ハミング符号が、どの程度の通信路条件 ($p$ の値) で有効に機能しうるかの示唆を得られます。

(7,4)ハミング符号の限界とブロック誤り

(7,4)ハミング符号は、7ビットのブロック内で最大1ビットの誤りしか訂正できません。ビット誤り確率 $p$ のとき、1つの7ビットブロックが

  • 誤りなしで受信される確率: $P_0 = (1-p)^7 \approx$
  • ちょうど1ビットの誤りを含み、訂正可能である確率: $P_1 = \binom{7}{1} p (1-p)^6 \approx$
  • 正しく復号される確率 (誤りなしか1ビット誤り訂正): $P_\textrm{Correct} = P_0 + P_1 \approx$
  • 誤って復号される確率 (2ビット以上の誤り): $P_\textrm{ErrorBlock} = 1 - P_\textrm{Correct} \approx$

$P_\textrm{ErrorBlock}$ が無視できないほど大きくなると、(7,4)ハミング符号ではメッセージ全体の完全な復元が困難になります。これは、$R < C$ という条件を満たしていても、(7,4)ハミング符号のような具体的な符号には、その構成（例：7ビットブロックでの1ビット誤り訂正能力）に起因する限界が存在することを示しています。そのため、$R$ を $C$ に近づけ、より効率的な通信を実現するには、より強力で洗練された符号化方式が必要となります。

$H_2(p) = -p \log_2 p - (1-p) \log_2 (1-p) \approx$ -

通信路容量 $C = 1 - H_2(p) \approx$ -

ハミング符号の伝送速度 $R = 4/7 \approx$ 0.5714 (固定)

比較: