JAIST 攻略 WIKI

このコースでは、我々の情報社会がその恩恵を享受する通信システムや情報システムが、情報理論にどのように関連しているかを解説することを導入とする。
そこでは、通信システムの一般的な構成を概観し、数学的モデルを構築する。
その直後において、情報理論で多用する数学の定理や式の導出に十分な時間をかける。
そこで得た数学的知識をもとに、情報源符号化、エントロピー、相互エントロピー、相互情報量、チャネルキャパシティ、情報源符号化とチャネル符号化の限界、速度ひずみ関数などについて説明し、
これらの関連を、定理の証明を通じて明らかにする。
最終段階においては、このコースで学んだ理論がより高度な情報理論にどのように拡張され、また、それとその関連する学問にどのように関連しているのかを解説する。
また、理論が実際の技術でどのように用いられているかについても述べる。
~ 2015 年度シラバス より ~

とりあえず, 2 - 4 章くらいで, 情報学関連による出てくる数式を説明して,
以後の内容にすすめる感じみたいです.
結論として,式の証明,導出を行えることが重要らしい.

なお,テストでは,通信機器以外のすべてのものは持ち込み可です.
また,試験時間に関しては何時間でもよいらしいですよ.

第二章は情報理論の土台となる数学的知識のお話が中心です.
ここに関しては知っている人は読み飛ばせばいいですし,知らない人はよく読めばよいです.
このページでは以後の講義に必要な内容のみを話します.

より詳細な情報は マジックアイテム(数学関連) に記述するかもしれません.

難しいことを抜きにすると, 凸関数とは,要は下に凹みのある曲線のことです(なのに凸).
例えばこんな感じでしょうか?



この曲線の部分が凸関数です.
さて,上記の図をよく確認すると横軸上の任意の点[x_1, x_2] を結んだ直線に対し,凸関数は常に低い値を示しています.
これが,凸関数である条件になります.

これを数学の言葉(数式)に変換すると以下の式になります.



この際, 左辺が横軸の任意の一点 tx + (1 - t)y に対する凸関数の値, 右辺が,横軸の同じ点に対する直線の値です.




上記の式を満たす関数のことを凸関数と呼びます.

• 凸関数の具体例
  • 

もし関数 F の 二次導関数 が 非負あるいは正の値 になる場合, この関数は 凸関数 である.

以下証明.とりあえず,
関数 f を x_0 周りでテイラー展開を行います.

• ここまででふた通りのやり方があるわけですが,念の為,両方のやり方を試すとよいかと.
  • まぁ,実際は簡単な方のみでいいと思いますが...

第四章: エントロピー、相対エントロピー、相互情報