# Softmax はhardmaxより大きか

任意の有界かつ，有限な実数列$$ x_i$$に対して
最大値は
$$ x^* = \max_i x_i$$
ソフト最大値は
$$ \log\sum_i \exp (x_i) = \log\{ \exp(x^*)\sum_i \exp (x_i - x^*)\}$$

$$ =x^* + \log \sum_i \exp(x_i - x^*)$$
$$ \forall i\ x_i \le x^* = \max_i x_i$$
なので，指数内部は"必ず0を含む"，非正の値を取る．
したがって，総和部分は必ず1より大きい

よって
$$ \log \sum_i \exp x_i > \max_i x_i$$

すなわち，ソフト最大値はハード最大値より大きい