連続分布・分散有限でエントロピー最大が正規分布、雑なまとめ後編 (スラド日記 2018-04-22)

承前。 とりあえず最大の候補は出た。 変形の一部が思い付かなかったので、 式変形の元ネタ

まずは、正規分布のときのエントロピーを求めておく。

HN=-∫(1/√(2π)σ)*exp(-(x-μ)^2 / 2σ^2) log{(1/√(2π)σ)*exp(-(x-μ)^2 / 2σ^2)}dx
=log(√(2π)σ)∫(1/√(2π)σ) * exp(-(x-μ)^2 / 2σ^2)dx + 1/(2σ^2) ∫(x-μ)^2(1/√(2π)σ) * exp(-(x-μ)^2 / 2σ^2)dx
=log(√(2π)σ)+ 1/2.

差を計算する。

H - HN = -∫p log p dx - log(√(2π)σ)- 1/2
= -∫p log p dx - log(√(2π)σ)∫p dx - 1/(2σ^2)∫(x-μ)^2 p dx
= -∫p log p dx + ∫p log{1/√(2π)σ * exp(-(x-μ)^2 / 2σ^2)}dx
= ∫p log({1/√(2π)σ * exp(-(x-μ)^2 / 2σ^2)}/p) dx.

グラフの形から log x ≦ x - 1 なので、

H - HN ≦ ∫p ({1/√(2π)σ * exp(-(x-μ)^2 / 2σ^2)}/p - 1)dx
=∫{1/√(2π)σ * exp(-(x-μ)^2 / 2σ^2)}dx - ∫ p dx
= 1 - 1 = 0.

ということで、H ≦ H_N で、等号成立は p = 1/√(2π)σ * exp(-(x-μ)^2 / 2σ^2) のとき。

メジャーな出し方で、まだ書いてないのは、 拡散方程式と中心極限定理かな。