---
date: Jan 04, 2022
id: 22-01-001
tags: program
---
# 熵(Entropy), 資訊理論

## Description
在資訊領域中, 熵(Entropy)指的是一個訊息中資料的不確定性, 也可理解為了解這一個訊息還需要多少的資訊量。

舉個實例來說：「在台灣, 太陽從東邊升起」，這句話對我們來說是生活常識, 因此Entropy為0, 即了解這句話不需要其他的資訊量

第二例：「台積電明天股價會下跌」，這句話讓我們來判斷是否為正確時, 就需要很多額外的資訊, 如：是否有利空、景氣影響、政治影響 ... 等, 因此Entropy>0

在Data mining的應用(information-based learning)中, Decision tree就有利用Entropy做data spilt的判斷, 即切分後的Entropy下降程度的評估。

在此先放上Entropy throme:

## compute demostracion
目標: 計算下方排組的information Entropy

H = 9/12 * log2(12/9) + 3/12 * log2(12/3)
  = 0.75 * 0.42 +  0.25 * 2
  = 0.81