---
# System prepended metadata

title: Histogram Entropy
tags: [SBD]

---

###### tags: `SBD`
#  Histogram Entropy
## 例子一
![](https://i.imgur.com/HUzSlfH.png)

## 例子二
![](https://i.imgur.com/yfbXmkA.png)
**==上圖中最後算出來的答案是8(上面寫錯)==**

## 例子三
![](https://i.imgur.com/lueBsbv.png)


# Histogram Cross Entropy
## 例子一
![](https://i.imgur.com/fHNPEXe.png)

### 用途
- 熵：可以表示一个事件A的自信息量，也就是A包含多少信息。
- 交叉熵：可以用来表示从事件A的角度来看，如何描述事件B。
- KL散度：可以用来表示从事件A的角度来看，事件B有多大不同。

KL散度越小越像
又 KL散度 約等於 cross entropy - 熵
所以我們可以看誰的cross entropy 比較小


### CROSS ENTROPY最大最小
- 最小 0(一模一樣, 而且都是集中在某一個上面)
- 最大 (沒有限制)
