###### tags: `SBD` # Histogram Entropy ## 例子一 ![](https://i.imgur.com/HUzSlfH.png) ## 例子二 ![](https://i.imgur.com/yfbXmkA.png) **==上圖中最後算出來的答案是8(上面寫錯)==** ## 例子三 ![](https://i.imgur.com/lueBsbv.png) # Histogram Cross Entropy ## 例子一 ![](https://i.imgur.com/fHNPEXe.png) ### 用途 - 熵：可以表示一个事件A的自信息量，也就是A包含多少信息。 - 交叉熵：可以用来表示从事件A的角度来看，如何描述事件B。 - KL散度：可以用来表示从事件A的角度来看，事件B有多大不同。 KL散度越小越像 又 KL散度 約等於 cross entropy - 熵 所以我們可以看誰的cross entropy 比較小 ### CROSS ENTROPY最大最小 - 最小 0(一模一樣, 而且都是集中在某一個上面) - 最大 (沒有限制)