---
# System prepended metadata

title: '熵(Entropy), 資訊理論'
tags: [CSIE]

---

---
date: Jan 04, 2022
id: 22-01-001
tags: program
---
# 熵(Entropy), 資訊理論

## Description
在資訊領域中, 熵(Entropy)指的是一個訊息中資料的不確定性, 也可理解為了解這一個訊息還需要多少的資訊量。

舉個實例來說：「在台灣, 太陽從東邊升起」，這句話對我們來說是生活常識, 因此Entropy為0, 即了解這句話不需要其他的資訊量

第二例：「台積電明天股價會下跌」，這句話讓我們來判斷是否為正確時, 就需要很多額外的資訊, 如：是否有利空、景氣影響、政治影響 ... 等, 因此Entropy>0

在Data mining的應用(information-based learning)中, Decision tree就有利用Entropy做data spilt的判斷, 即切分後的Entropy下降程度的評估。

在此先放上Entropy throme: 
![Entropy](https://wikimedia.org/api/rest_v1/media/math/render/svg/a44d96821415e6aa4ac63b6c8f6af9dfdfa9a3f2)

## compute demostracion
目標: 計算下方排組的information Entropy
![](https://i.imgur.com/NNSBZvE.png)

```
H = 9/12 * log2(12/9) + 3/12 * log2(12/3)
  = 0.75 * 0.42 +  0.25 * 2
  = 0.81
```