エントロピー関数

(立つ場合を考えない、ふつうの)コイン投げを考える。表が出る確率を pとするとエントロピーは

$$H(p)=-p\log_2 p - (1-p)\log_2 (1-p)$$

となる。これをエントロピー関数(図1)という。

図 1: エントロピー関数