情報理論

情報を「効率よく，高品質で，安全に」記録あるいは通信するために，それぞれ「データ圧縮，誤り訂正，情報セキュリティ・暗号」用の符号化技術が用いられている．情報理論は，そのような符号化に関する基礎理論であり，性能のよい実用的な符号を作る研究と，符号の性能限界を求める研究とに分かれている．特に後者はシャノン理論と呼ばれ，圧縮効率の限界や誤り訂正の限界が，それぞれエントロピーや相互情報量など情報源や通信路の確率により定まる情報量で与えられる．これらの性能限界が分かれば，具体的な符号に対して絶対的な性能評価を行うことができるようになる．