エントロピーの定義

• $A_1, A_2,\cdots , A_n$のn個の事象が、
• それぞれ $p_1,\,p_2,\cdots ,\,p_n$の確率で起こるとき、
• エントロピー$H$は次のように計算される。

$$H=- \sum_{i=1}^{n} p_n\cdot \log_2 p_n$$

(要するに各事象の情報量の確率による重み付け平均。文字どおり平均情報 量。とても、簡単。)

ただし上式において $p_i=0$のときは、 $p_i\cdot\log_2 p_i = 0$と 計算する。( $\lim_{p\rightarrow 0} p\log p=0$と考えれば良い。)