## **【Statistics 基礎統計：推論統計、假設檢定】**
:::info
- 推論統計學（Inferential Statistics）: 利用樣本統計量及其抽樣分配來推估母體的特性
- 母數統計學(parametric statstics): 假設母體為常態或樣本為大樣本的情況下的推論統計學
- 無母數統計學(nonparametric statistics):指母體分配不明或樣本為小樣本的情況下的推論統計學
- 估計 : 透過收集和分析樣本資料，來估算或推斷、假設總體參數或統計量的值
- 參數估計（Parameter Estimation）：透過樣本資料，來估計總體的參數值，包括使用點估計和區間估計等方法來估計總體參數的值。是一個更廣泛的概念，它包括了估計整個參數的分佈或區間，而不僅僅是一個點估計值
- 動差估計法(Method ofMmestmME): 樣本動差=母體動差，計算相對簡單。適合樣本小的情況
- 貝氏估計法(Method ofBays):事前機率（prior probaility），與樣本信息結合，經過修正後，得到對事後機率(posterior probaility)。適合處理小樣本數據或缺乏信息的情況，但結果可能受到事前機率選擇的影響
- 最大概似法（Maximum Likelihood Estimation，MLE）: 反推法，從最大化樣本觀察到的概似函數的參數值，再用於概率分佈的參數估計。例如從搶劫案嫌疑犯中，找到有前科的嫌疑犯，找到最有可能的人
- 點估計值（Point Estimation）：透過樣本資料，得出一個總體【單一參數的值】
- 區間估計（Interval Estimation）：使用樣本資料，估計一個總體【區間範圍】，這個區間稱為「信賴區間」或「置信區間」（Confidence Interval）
- 信賴水準（Confidence Level），或稱置信水準、顯著水準，是用來表示區間估計的可信程度或置信度的概念。信賴水準通常以百分比的形式表示，例如，95%信賴水準 (= alpha 0.05)
信賴區間增加，信賴水準也會增加
以圖來看，左右加起來0.05，因此一邊為2/0.05=0.025
- 誤差幅度 (Margin of Error)
- 練習
- 比例的信賴區間 (Confidence Intervals for Proportions)
- 樣本比例的置信區間 (Confidence Intervals for Proportions)
- 假設檢定、假設檢驗（Hypothesis Testing）: 是一種透過樣本資料來驗證，關於總體參數的假設的統計方法 (大樣本: Z分配)
- [z分配表](http://www.cust.edu.tw/mathmet/stat/z-dist.pdf)
- 虛無假設、零假設(H0): 評估母體的假設，表示兩組或更多組之間沒有顯著差異
- 備擇假設(H1): 虛無假設的對立假設，拒絕虛無假設
- 步驟
- 步驟一: 設定假設
- 步驟二: 定義可接受的錯誤概率
- 步驟三: 收集樣本，測試
- 步驟四: 對樣本數據進行統計檢定，並轉化為假設概率
- 步驟五: 判斷結果，錯誤概率可接受嗎?
- 顯著水準（Significance Level）: 通常用符號 α 來表示。這個值代表了拒絕零假設時所允許的最大錯誤機率
- p-value: 根據樣本數據所計算出的統計量在零假設成立下獲得更極端結果的概率。概率值越小，零假設越有可能是錯誤的。 p = T.DIST(檢定統計量,n的計數-1,True)、p-value = p*2
- 假設種類: 母體平均數(z-test) *excel =(A1-AVERAGE(range))/STDEV(range)
- Two-Tailed Test: 主要關注的是樣本統計量是否顯著地偏離了假設的母體平均數 (例題)
- One-Tailed Test to the Right: 對樣本統計量是否顯著地偏高於假設的母體平均數 (例題)
- One-Tailed Test to the Left: 對樣本平均數是否顯著地偏低於假設的母體平均數 (例題)
- 假設種類: 單母體比例假設: (z-test) 根據中心極限定理，樣本比例的分佈近似於正態分佈
- 假設種類: 單母體變異數假設（f-test）
- 假設種類: 單母體區間估計(z-test)
- 假設種類: 雙母體比例假設（z-test）
- 假設種類: 雙母體變異數假設（f-test）
- 假設種類: 雙母體區間估計(z-test)
- McNemar 檢定 (z-test): B+C>10，大樣本，等同於相依樣本的卡方檢定
- T-test：用於未知標準差、樣本較小時，一種假設檢驗方法，比較數據的均值是否存在統計上的差異 (小樣本: t分配，有df自由度)
- [t分配表(https://spssplus.blogspot.com/2010/11/1110-t.html)
- 假設種類: 母體平均數（t-test）
- Two-Tailed Test（t-test）: 主要關注的是樣本統計量是否顯著地偏離了假設的母體平均數
- One-Tailed Test to the Left（t-test）: 對樣本統計量是否顯著地偏低於假設的母體平均數 (例題)
- One-Tailed Test to the Right（t-test）: 對樣本統計量是否顯著地偏高於假設的母體平均數 (例題)
- t-分佈 (t-distribution) : T檢驗的統計量 T 服從 t-分佈（t-distribution）
- 假設種類: 單母體比例假設(二項分配法)
[【統計機率分配】](https://hackmd.io/@workcata/BkJoaU4ST)
- 假設種類: 單母體變異數假設(卡方分配)[卡方分配表](https://www.obhrm.net/index.php/%E5%8D%A1%E6%96%B9%E5%88%86%E5%B8%83%E8%A1%A8_Chi-Square_Probabilities)
- 假設種類: 單母體區間估計（t-test）
- 假設種類: 雙母體比例假設（t-test）
- 假設種類: 雙母體變異數假設（f-test）
- 假設種類: 雙母體區間估計（t-test)
:::
:::warning
- 課程、網頁:
- 中華科大 CUSTCourses [【統計學-李柏堅】](https://www.youtube.com/watch?v=sXMOx9Pbpe4&list=PLP1Ynr8cs97tPCMS0jOEYFNJoz7CelIJ5)
- 交大 OCW 公開課程[【統計學(一)(基礎統計) - 工業工程與管理學系 唐麗英老師】](https://www.youtube.com/watch?v=3okbnliWIlU&t=2s)
- Udemy [【Statistics for Data Science and Business Analysis】](https://www.udemy.com/course/statistics-for-data-science-and-business-analysis/?utm_source=adwords&utm_medium=udemyads&utm_campaign=DSA_Catchall_la.EN_cc.ROW&utm_content=deal4584&utm_term=_._ag_88010211481_._ad_535397282061_._kw__._de_c_._dm__._pl__._ti_dsa-41250778272_._li_9040379_._pd__._&matchtype=&gclid=CjwKCAjwsKqoBhBPEiwALrrqiMy7g9P6ZjPz6g4QXJXkRJhSUlR3kmZe9yeE5s2V5_QoLJyyjvObHxoC_HEQAvD_BwE)
:::
### :+1:推論統計學（Inferential Statistics）: 利用樣本統計量及其抽樣分配來推估母體的特性
主要目的：
1.統計估計(statistical estimation) : 點估計值（Point Estimation）、區間估計（Interval Estimation）
2.假設檢定(hypothesis testing)
- 母數統計學(parametric statstics): 假設母體為常態或樣本為大樣本的情況下的推論統計學
- 無母數統計學(nonparametric statistics):指母體分配不明或樣本為小樣本的情況下的推論統計學
<br/>
### :+1:估計 : 透過收集和分析樣本資料，來估算或推斷總體參數或統計量的值
估計式的好壞評斷標準:
不偏性(Unbiasedness): 估計量的期望值等於真實參數值
有效性(Efficiency): 估計量的方差越小越好。給定相同不偏性的情況下，具有比其他估計量更小的方差，因此更具有精確性
一致性(Consistency): 當樣本數量增加時，估計量應該趨近於真實參數值
充分性(Sufficiency): 一個充分的估計值應該能提供有關參數的所有重要信息
<br/>
- 參數估計（Parameter Estimation）：透過樣本資料，來估計總體的參數值，包括使用點估計和區間估計等方法來估計總體參數的值。是一個更廣泛的概念，它包括了估計整個參數的分佈或區間，而不僅僅是一個點估計值
-- 動差估計法(Method ofMmestmME): 樣本動差=母體動差，計算相對簡單。適合樣本小的情況
<br/>
-- 貝氏估計法(Method ofBays):事前機率（prior probaility），與樣本信息結合，經過修正後，得到對事後機率(posterior probaility)。適合處理小樣本數據或缺乏信息的情況，但結果可能受到事前機率選擇的影響
練習一
<br/>
-- 最大概似法（Maximum Likelihood Estimation，MLE）: 反推法，從最大化樣本觀察到的概似函數的參數值，再用於概率分佈的參數估計。例如從搶劫案嫌疑犯中，找到有前科的嫌疑犯，找到最有可能的人
```=
import numpy as np
import scipy.stats as stats
# 建立一個樣本資料集，假設服從常態分佈
sample_data = np.random.normal(loc=3, scale=2, size=100)
# 使用最大似然估計估計平均值和標準差
estimated_mean = np.mean(sample_data)
estimated_stddev = np.std(sample_data, ddof=1) # 使用ddof=1來進行樣本標準差估計
print(f"使用MLE估計的平均值：{estimated_mean:.2f}")
print(f"使用MLE估計的標準差：{estimated_stddev:.2f}")
```
繪成圖，但通常不需要繪製直方圖或分佈圖，因為我們已經假定資料來自常態分佈
```=
import numpy as np
import matplotlib.pyplot as plt
# 建立一個樣本資料集，假設服從常態分佈
sample_data = np.random.normal(loc=3, scale=2, size=100)
# 繪製直方圖
plt.hist(sample_data, bins=20, density=True, alpha=0.6, color='b')
plt.xlabel('Value')
plt.ylabel('Probability Density')
plt.title('Histogram of Sample Data')
plt.show()
```
<br/>
-- 最小平方法（Least Squares Estimation）
基於殘差平方和最小化的參數估計方法，常用於線性回歸等問題，主要用於擬合模型的參數估計
```=
import numpy as np
import matplotlib.pyplot as plt
# 建立一個模擬的線性資料集
np.random.seed(0)
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)
# 使用最小平方法進行線性迴歸
X_b = np.c_[np.ones((100, 1)), X] # 新增偏壓項
theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)
# 輸出迴歸模型的參數
print(f"使用LSE估計的線性模型參數：{theta_best.ravel()}")
# 繪製資料與迴歸模型
plt.scatter(X, y)
plt.plot(X, X_b.dot(theta_best), 'r-')
plt.xlabel('X')
plt.ylabel('y')
plt.title('Linear Regression using LSE')
plt.show()
```
- 點估計值（Point Estimation）：透過樣本資料，得出一個總體【單一參數的值】
例如，使用樣本中位數、樣本平均數(較常用)來估計總體平均值；或使用樣本比例來估計總體比例；或使用樣本變異數來估計總體變異數
```=
import numpy as np
# 建立一個樣本資料集
sample_data = [23, 34, 45, 32, 28, 40, 37, 29, 31, 36]
# 估計總體平均值，使用樣本平均值作為估計值
sample_mean = np.mean(sample_data)
print(f"估計總體平均值為: {sample_mean:.2f}")
```
- 區間估計（Interval Estimation）：使用樣本資料，估計一個總體【區間範圍】，這個區間稱為「信賴區間」或「置信區間」（Confidence Interval）
例如，信賴區間95%是一個區間估計的結果，表示在95%的情況下，總體參數的真實值位於這個區間內
 Margin of Error 誤差幅度
```=
import numpy as np
import scipy.stats as stats
# 假設樣本資料集，這裡使用隨機產生的資料作為範例
sample_data = np.random.normal(loc=3, scale=2, size=100)
# 設定置信水準（例如，95%置信水準）
confidence_level = 0.95
# 計算樣本數、樣本平均值和样本標準差
sample_size = len(sample_data)
sample_mean = np.mean(sample_data)
sample_stddev = np.std(sample_data, ddof=1) # 使用ddof=1進行樣本標準差估計
# 計算信賴區間的上限和下限
margin_of_error = stats.t.ppf((1 + confidence_level) / 2, df=sample_size - 1) * (sample_stddev / np.sqrt(sample_size))
lower_bound = sample_mean - margin_of_error
upper_bound = sample_mean + margin_of_error
# 輸出置信區間
print(f"{confidence_level * 100}% 信賴區間為: ({lower_bound:.2f}, {upper_bound:.2f})")
```
```=
# 數學公式寫法
步驟一：收集樣本資料
收集與研究問題相關的樣本資料
確定樣本大小（N）。
計算樣本的平均值（X̄）和樣本標準差（s）。 通常使用樣本標準差，並確保使用 ddof=1 進行估計
第二步：指定信賴水平
選擇所需的信賴水準（α），通常以百分比形式表示。 例如，α = 0.05 對應於 95% 的信賴水準。
第三步：計算標準誤差
計算標準誤差（Standard Error），它是樣本標準差（s）除以樣本大小的平方根，即 s / √N。
第四步：找出 t 分佈臨界值
使用自由度（df = N - 1）找出 t 分佈表，找出與所選信賴水準（α）相對應的 t 分佈臨界值（t*）。 這是使 (1 - α/2) 的面積位於 t 分佈曲線上 t* 兩側的值
第五步：計算信賴區間邊界
計算信賴區間的邊界：
下限 = X̄ - (t* * 標準誤)
上限 = X̄ + (t* * 標準誤)
第六步：輸出信賴區間
輸出計算所得的信賴區間，通常以 "信賴水準 (Confidence Level) 信賴區間：(下限, 上限)" 的形式呈現
```
- 信賴水準（Confidence Level），或稱置信水準、顯著水準，是用來表示區間估計的可信程度或置信度的概念。信賴水準通常以百分比的形式表示，例如，95%信賴水準 (= alpha 0.05)
信賴區間增加，信賴水準也會增加
以圖來看，左右加起來0.05，因此一邊為2/0.05=0.025
- 誤差幅度 (Margin of Error)
*excel: CONFIDENCE.NORM(alpha,標準差,n的計數)
= 標準差/數字計數n的開根號 (or樣本數的開根號)
- 練習
信賴區間怎麼算?
**點估計值 +- 誤差幅度***
**點估計值**: 樣本平均值
**誤差幅度**: z-score * 標準誤差
**標準誤差**: 標準差/樣本數的開根號
假設我有一組數據，樣本平均值 239.9、樣本數95、標準差90、信賴水準95%、alpha 0.05
>z-score = norm.s.inv(2/0.05)=-1.96
>標準誤差 = 90/(95開根號) = 9.23 * excel: 90/SORT(95)
>誤差幅度 = 1.96 * 9.23 = 18.09
>信賴區間
= 239.9 +- 18.09
有95%機會，學生成績介於221.81~257.99
信賴區間可以直接 =CONFIDENCE.NORM(0.05,90,95) = 18.09
<br/>
- 比例的信賴區間 (Confidence Intervals for Proportions)
比例的信賴區間怎麼算?
**點估計值 +- 誤差幅度**
**點估計值**: 比例
**誤差幅度**: z-score * 標準誤差
**標準誤差** = 開根號((比例* 反比例)/樣本數量)
假設考試>60 23人，總人數95，信賴水準90%、alpha = 0.1
>及格的 p-hat = 23/95=0.242
>不及格的 1-0.242=0.785
>
> z-score = norm.s.inv(1-0.05) = 1.64
> 標準誤差 = (0.242 * (0.758))/95 的開根號 = 0.0439
>*excel: SORT((0.242*0.758)/95) = 0.0439
> 誤差幅度 = 1.645 * 0.0439 = 0.072
> 信賴區間
= 0.242 +- 0.072
比例的信賴區間為 0.17 ~ 0.31，17% ~ 31%
因此我們有90%的信心，及格的比例為 17% ~ 31%
<br/>
### :+1:假設檢定、假設檢驗（Hypothesis Testing）: 是一種透過樣本資料來驗證，關於總體參數的假設的統計方法 (大樣本: z分配)
- [z分配表](http://www.cust.edu.tw/mathmet/stat/z-dist.pdf)
- **虛無假設、零假設(H0)**: 評估母體的假設，表示兩組或更多組之間沒有顯著差異
通常 P-value < 0.05，資料差異【顯著】，該指標對事件的發生有顯著影響。代表我們拒絕虛無假設、接受對立假設
通常P-value > 0.05，資料差異【不顯著】，該指標對事件的發生沒有顯著影響。代表我們暫時接受虛無假設、不接受對立假設，但並不代表虛無假設一定為真
- **備擇假設(H1)**: 虛無假設的對立假設，拒絕虛無假設
```=
import numpy as np
import scipy.stats as stats
# 建立兩組樣本數據
sample_data_group1 = [23, 34, 45, 32, 28, 40, 37, 29, 31, 36]
sample_data_group2 = [20, 33, 42, 30, 27, 38, 35, 27, 29, 34]
# 執行獨立樣本 t 檢定來比較兩組樣本的平均數是否顯著不同
t_statistic, p_value = stats.ttest_ind(sample_data_group1, sample_data_group2)
alpha = 0.05
if p_value < alpha:
print("拒絕虛無假設：兩組樣本的平均數顯著不同")
else:
print("無法拒絕虛無假設：兩組樣本的平均數無顯著不同")
```
```=
# 數學公式寫法
步驟一：準備數據
收集兩組獨立的樣本數據，分別表示為 sample_data_group1 和 sample_data_group2。
步驟二：執行獨立樣本 t 檢驗
計算兩組樣本的樣本平均值，分別表示為 mean_group1 和 mean_group2。
計算兩組樣本的樣本標準差，分別表示為 stddev_group1 和 stddev_group2。 請注意，在計算樣本標準差時，通常會使用自由度校正（ddof=1）。
計算兩組樣本的樣本大小，分別表示為 n_group1 和 n_group2。
計算兩組樣本的標準誤差（standard error of the mean），分別表示為 se_group1 和 se_group2，公式為：
對於第一組樣本：se_group1 = stddev_group1 / sqrt(n_group1)
對於第二組樣本：se_group2 = stddev_group2 / sqrt(n_group2)
計算 t 統計量（t-statistic）用於檢定兩組樣本的平均值是否有顯著差異，公式為：
t_statistic = (mean_group1 - mean_group2) / sqrt(se_group1^2 / n_group1 + se_group2^2 / n_group2)
其中，^2 表示平方。
計算自由度（degrees of freedom），通常為 df = n_group1 + n_group2 - 2。
根據自由度和所選的顯著水準（通常以 α 表示），使用 t 分佈表或統計軟體計算雙側檢定的臨界 t 值。
計算 p 值（p-value），表示 t 統計量的雙側機率。 可以使用 t 分佈表或統計軟體來計算 p 值。
步驟三：假設檢驗結果
設定顯著水準（α），通常為 0.05。
判斷假設檢驗的結果：
如果 p 值小於顯著水準 α，則拒絕虛無假設，認為兩組樣本的平均值顯著不同。
如果 p 值大於或等於顯著水準 α，則無法拒絕虛無假設，認為兩組樣本的平均值無顯著差異。
這些步驟概括了執行獨立樣本 t 檢定的過程，用於比較兩組獨立樣本的平均值是否有顯著差異
```
- 步驟
- 步驟一: 設定假設
- 步驟二: 定義可接受的錯誤概率
- 步驟三: 收集樣本，測試
- 步驟四: 對樣本數據進行統計檢定，並轉化為假設概率
- 步驟五: 判斷結果，錯誤概率可接受嗎?
- 顯著水準（Significance Level）: 通常用符號 α 來表示。這個值代表了拒絕零假設時所允許的最大錯誤機率
假設在進行某個假設檢定時，我們將顯著性水準設定為 0.05。這意味著我們將接受 5% 的機會來犯下 Type I 錯誤
- p-value: 根據樣本數據所計算出的統計量在零假設成立下獲得更極端結果的概率。概率值越小，零假設(H0)越有可能是錯誤的。 p = T.DIST(檢定統計量,n的計數-1,True)、p-value = p*2
<br/>
<br/>
- 假設種類: 母體平均數 (z-test)*excel =(A1-AVERAGE(range))/STDEV(range)
:1234: Two-Tailed Test: 主要關注的是樣本統計量是否顯著地偏離了假設的母體平均數
練習一 顯著，1.776 落在紅色區域
z用查表或excel
練習二 不顯著，1.05 落在白色區域
z用查表或excel
練習三 不顯著，0.44 落在白色區域
z用查表或excel
練習四
```=
步驟一: 設定假設
想知道平均志工時數
步驟二: 定義可接受的錯誤概率
alpha設為 0.1, 10%
步驟三: 收集樣本，測試
收集到95個樣本、平均289.3小時，標準差93.52
步驟四: 對樣本數據進行統計檢定，並轉化為假設概率
標準誤差: 標準差/(數量n的開根號)
=93.52/SQRT(95) = 9.60
檢定統計量，假設母體平均值為300
=(300-289.3)/9.60 = -1.11
-1.11 代表樣本平均值 < 假設的母體平均值
p-value
= t.dist(-1.11,(95-1),True) = 0.135
再/2
= 0.135*2 = 0.27
0.27代表支持零假設的機率是27%
步驟五: 判斷結果，錯誤概率可接受嗎?
p-value > alpha， 27% > 10%，代表無法拒絕零假設，代表一開始的假設，很有可能是正確的
```
練習五
想知道經理級別中，月薪平均有10萬的比例
```=
步驟一: 設定假設
Ho (虛無假設)0.5、Ha (對立假設)0.5
步驟二: 定義可接受的錯誤概率
信賴區間95%、alpha 0.05
步驟三: 收集樣本，測試
收集到53個樣本、>10萬的34人、<10萬的16人
步驟四: 對樣本數據進行統計檢定，並轉化為假設概率
先用countifs算出比例，p=0.6415、1-p=0.3585
標準誤差: p*(p-1)/(數量n的開根號)
=SQRT(0.6415*0.3585)/53 = 0.0659
z-score: (p-Ho)/ 標準誤差
=(0.6415-0.5) / 0.0659 = 2.147
因為是右尾，用1取減
p = 1-NORM.S.DIST(z-score, TRUE)
= (2.147, TRUE) = 0.016
步驟五: 判斷結果，錯誤概率可接受嗎?
p-value < alpha， 1.6% < 5%，代表無法可以虛無假設，很有可能一開始假設50% 經理> 10萬是正確的
```
<br/>
:1234: One-Tailed Test to the Left: 對樣本統計量是否顯著地偏低於假設的母體平均數
練習一 顯著，-9.1 落在紅色區域
z用查表或excel
練習二 顯著，-3.5 落在紅色區域
z用查表或excel
練習三
```=
步驟一~三 同雙尾(Two-Tailed Test) 假設
步驟四:
p-value
= t.dist(-1.11,(95-1),True) = 0.135
再/2 = 0.135/2 = 0.0675
步驟五:
p-value < alpha， 6.75% < 10%，代表可以拒絕零假設，無法確定樣本平均值顯著低於 300
```
練習四
想知道參加多益班後，學生考試成績是否平均有提高50分
PS 為關聯樣本 (dependent sample)
```=
步驟一: 設定假設
Ho (虛無假設)0.5、Ha (對立假設)0.5
步驟二: 定義可接受的錯誤概率
信賴區間98%、alpha 0.02
步驟三: 收集樣本，測試
收集到95個樣本、after-before 差異分數的平均 49.4、標準差 29.66
步驟四: 對樣本數據進行統計檢定，並轉化為假設概率
標準誤差: 標準差/樣本數的開根號
=29.66/SQRT(95) = 3.04
t-score: (mean-Ho)/ 標準誤差
=(49.4-50) / 3.04 = -0.18，偏離平均值0.18個標準差
因為是左尾
p-value
= T.DIST(t-score,樣本數n-1,TRUE)
= T.DIST(-0.18,95-1,TRUE)
= 0.427
步驟五: 判斷結果，錯誤概率可接受嗎?
p-value > alpha， 4.27% > 2%，代表無法拒絕零假設，沒有足夠的證據表明平均分數的確提高了 50 分
```
<br/>
:1234: One-Tailed Test to the Right: 對樣本統計量是否顯著地偏高於假設的母體平均數
練習一 顯著，2.489 落在紅色區域
z用查表或excel
練習二
```
步驟一~三 同雙尾(Two-Tailed Test) 假設
步驟四:
p-value
= t.dist(-1.11,(95-1),True) = 0.135
再/2
= 0.135/2 = 0.0675
步驟五:
p-value < alpha， 6.75% < 10%，代表可以拒絕零假設，無法確定樣本平均值顯著高於 300
```
練習三
想知道有經驗的人，是否能在某個職位拿到更高薪
PS 為獨立樣本 (independent sample)，觀測值不相互影響
```=
步驟一: 設定假設
Ho (虛無假設)0、Ha (對立假設)0
步驟二: 定義可接受的錯誤概率
信賴區間99%、alpha 0.01
步驟三: 收集樣本，測試
收集到53個樣本
YES 有經驗: 17位、平均薪資 $124647、方差 3526773897 * excel: =VAR.S(FILTER(薪資欄,經驗欄 = "Yes"))
NO 無經驗: 36位、平均薪資 $116903、方差 1450125992
步驟四: 對樣本數據進行統計檢定，並轉化為假設概率
兩組平均差:
= 124547 - 116903 = 7744
兩組標準誤差 SQRT(SUM(3526773897/17,1450125992/36)) = 15739.71
t-score: (兩組平均差-Ho)/ 標準誤差
=(7744-0) / 15739.71 = 0.49
自由度: 兩組標準誤差總和的平方/SUM((A樣本方差平方/A樣本計數)的平方/A樣本數n-1 , (B樣本方差平方/B樣本計數)的平方/B樣本數n-1)
=(SUM((3526773897/17),(1450125992/36))^2)/(SUM(((3526773897/17)^2)/(17-1),((1450125992/36)^2)/(36-1))) = 22.43
因為是右尾
p-value:
= T.DIST.RT(t-score,自由度)
= T.DIST.RT(0.49,22.43) = 0.314
步驟五: 判斷結果，錯誤概率可接受嗎?
p-value > alpha， 3.14% > 1%，代表無法拒絕零假設，沒有足夠的證據表明，有經驗的人，是否能在某個職位拿到更高薪
```
<br/>
- 假設種類: 單母體比例假設: (z-test) 根據中心極限定理，樣本比例的分佈近似於正態分佈
練習一 不顯著，-0.274 落在白色區域，無法拒絕最初假設
練習二 不顯著，-1.25 落在白色區域，無法拒絕最初假設
練習三 不顯著，-1.09 落在白色區域，無法拒絕最初假設
<br/>
- 假設種類: 單母體變異數假設（f-test）
<br/>
- 假設種類: 單母體區間估計(z-test)
練習一
練習二 (母體比例的信賴區間)
練習三 (母體平均數的信賴區間)
<br/>
- 假設種類: 雙母體比例假設（z-test）
練習一 整體顯著，4.43 落在紅色區域，拒絕H0虛無假設，拒絕最初的論述，男生比例高
練習二 整體不顯著，-1.19 落在白色區域，接受H0虛無假設
練習三 (母體比例的比較)
(1) 整體顯著，落在紅色區域，白色區域(-1.96~1.96)外，拒絕H0虛無假設，拒絕最初的論述，甲死亡率>乙死亡率
(2) 整體不顯著，白色區域，以急性來看，兩者差異有在5%內
(3) 整體不顯著，白色區域，以非急性來看，兩者差異有在5%內
因此乙醫院會有較好的醫療
<br/>
- 假設種類: 雙母體變異數假設（f-test）
[f分配表](https://www.blogarama.com/education-blogs/295303-best-online-training-video-courses-educba-blog/30338267-test-formula)
練習一 不顯著，0.1528 在白色區域，無法拒絕最初的論述
<br/>
- 假設種類: 雙母體區間估計(z-test)
練習一 (母體變異數已知)
信賴區間橫跨0，不顯著，無法拒絕H0，看不出有何不一樣
練習一 (母體變異數未知)
練習二 (雙母體比例差的信賴區間)
<br/>
- McNemar 檢定 (z-test): B+C>10，大樣本，等同於相依樣本的卡方檢定
練習一 顯著，-2.75落在紅色區域，不接受虛無假設H0，兩者效果仍不同
練習二 不顯著，1.697落在白色區域，無法拒絕虛無假設H0
<br/>
<br/>
### :+1:T-test：用於未知標準差、樣本較小時，一種假設檢驗方法，比較數據的均值是否存在統計差異 (小樣本: t分配，有df自由度)
>PS 小樣本
- 母體常態分配至少要像土堆形狀
- 使用s估計𝜎時，使用t分配來修正
- 如果母體的標準差未知，但樣本的大小足夠大（通常 n > 30），也適用
- [t分配表](https://spssplus.blogspot.com/2010/11/1110-t.html)
<br/>
- 假設種類: 母體平均數（t-test）
:1234: Two-Tailed Test（t-test）: 主要關注的是樣本統計量是否顯著地偏離了假設的母體平均數
練習一 不顯著，0.248 落在白色區域
t用查表或excel
練習二 不顯著，1.6 落在白色區域
t用查表或excel
練習三 不顯著，- 1.6 落在白色區域
t用查表或excel
練習四
```=
import numpy as np
import scipy.stats as stats
# 假設有兩組樣本數據
group1 = [78, 85, 72, 89, 91, 82, 79, 88, 74, 80]
group2 = [65, 72, 68, 70, 75, 64, 71, 73, 78, 66]
# 執行獨立樣本 t 檢定
t_statistic, p_value = stats.ttest_ind(group1, group2)
# 輸出檢驗結果
print(f"獨立樣本 t 統計量：{t_statistic:.4f}")
print(f"對應的 p 值：{p_value:.4f}")
# 根據 p 值判斷是否拒絕虛無假設
alpha = 0.05 # 選擇顯著性水平
if p_value < alpha:
print("拒絕虛無假設，表示兩組資料的平均值存在統計上的差異。")
else:
print("接受零假設，表示兩組資料的平均值沒有統計上的差異。")
```
```=
# 數學公式寫法
組1（Sample 1）：78, 85, 72, 89, 91, 82, 79, 88, 74, 80
組2（Sample 2）：65, 72, 68, 70, 75, 64, 71, 73, 78, 66
我們要進行獨立樣本 t 檢驗，檢驗它們的平均數是否有統計上的差異。
步驟一：計算兩組樣本資料的平均數（平均值）和樣本標準差。
組別1的平均值（平均值）：$\bar{x}_1 = \frac{78+85+72+89+91+82+79+88+74+80}{10} = 81.8$
組2的平均值（平均值）：$\bar{x}_2 = \frac{65+72+68+70+75+64+71+73+78+66}{10} = 70.2$
組別1的樣本標準差：$s_1 = \sqrt{\frac{\sum{(x - \bar{x}_1)^2}}{n-1}}$
組2的樣本標準差：$s_2 = \sqrt{\frac{\sum{(x - \bar{x}_2)^2}}{n-1}}$
其中，$n$ 是每組樣本的數量
步驟一二：計算兩組樣本的 t 統計量
$t$ 統計量的計算公式為：$t = \frac{\bar{x}_1 - \bar{x}_2}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^ 2}{n_2}}}$
其中，$n_1$ 和 $n_2$ 分別是兩組樣本的數量
步驟三：計算自由度（degrees of freedom）
自由度的計算公式為：$df = \frac{(s_1^2/n_1 + s_2^2/n_2)^2}{\frac{(s_1^2/n_1)^2}{n_1 - 1} + \ frac{(s_2^2/n_2)^2}{n_2 - 1}}$
步驟四：找出 t 分佈表或使用統計軟體計算 p 值
根據 t 統計量和自由度，找出 t 分佈表或使用統計軟體計算 p 值
步驟五：確定顯著水準（通常為 0.05），並根據 p 值判斷是否拒絕虛無假設。
如果 p 值小於顯著性水平，通常為 0.05，那麼我們拒絕虛無假設，認為兩組資料的平均值有統計上的差異。 否則，我們接受零假設，認為兩組資料的平均值沒有統計上的差異
```
<br/>
:1234: One-Tailed Test to the Left（t-test）: 對樣本統計量是否顯著地偏低於假設的母體平均數 (例題)
練習一
<br/>
:1234: One-Tailed Test to the Right（t-test）: 對樣本統計量是否顯著地偏高於假設的母體平均數 (例題)
練習一 不顯著，1.414 落在白色區域，無法拒絕最初的論述
t用查表或excel
練習二 顯著，3.48 落在紅色區域，拒絕H0虛無假設，拒絕最初的論述
t用查表或excel
<br/>
- 假設種類: 單母體比例假設(二項分配法) *excel =BINOM.DIST(x, n, p, cumulative)
x 是成功事件的數量
n 是試驗的總次數
p 是每次試驗成功的機率
練習一 不顯著，在範圍內，0.061 > 0.05，不能否定 H0虛無假設
z用查表或excel
<br/>
- 假設種類: 單母體變異數假設(卡方分配)
[卡方分配表](https://www.cnblogs.com/brisk/p/16290198.html)
練習一 不顯著，7.62 落在白色區域，無法拒絕最初的論述
t用查表或excel
練習二 不顯著，17.64 落在白色區域，無法拒絕最初的論述
練習三 顯著，8.64 落在紅色區域，拒絕H0虛無假設，拒絕最初的論述，學生有抄襲
練習四 不顯著，31.9 落在白色區域，無法拒絕最初的論述
練習五 顯著，40.75 落在紅色區域，拒絕H0虛無假設，拒絕最初的論述，工廠不值得採信
<br/>
- 假設種類: 單母體區間估計（t-test）
練習一
練習二 (母體變異數的信賴區間)
練習三 (母體平均數的信賴區間)
練習四
練習五
*excel = T.INV(1-(2/alpha),樣本數)
信賴區間怎麼算?
**點估計值+-誤差幅度**
**點估計值**: 樣本平均值
**誤差幅度**: t-score * 標準誤差
**t-score**: T.INV(1-(2/alpha),樣本數n)
**標準誤差** = 開根號((比例* 反比例)/樣本數量)
假設我有一組數據，樣本平均值 239.9、樣本數95、標準差?、信賴水準95%、alpha 0.05,只知道樣本標準差80
>t-score: T.INV(1-(2/0.05),95) =1.985
>標準誤差 = 80/(95開根號) = 8.207 * excel: 80/SORT(95)
>誤差幅度 = 1.985 * 8.207 = 16.294
>信賴區間
= 239.9 +- 16.294
有95%機會，學生成績介於223.6~256.19
信賴區間可以直接=CONFIDENCE.T(0.05,80,95) = 16.30
<br/>
- 假設種類: 雙母體比例假設（t-test）
<br/>
- 假設種類: 雙母體變異數假設（f-test）
[f分配表](https://www.blogarama.com/education-blogs/295303-best-online-training-video-courses-educba-blog/30338267-test-formula)
練習一 (變異數比例)
不顯著，1.167 在白色區域，無法拒絕最初的論述
練習二 (變異數比例)
顯著，4 在紅色區域，拒絕H0虛無假設，拒絕最初的論述
練習三 (變異數比例)
變異數用f表
平均數用t表
不顯著，皆在白色區域，無法拒絕最初的論述
練習四 不顯著，0.5926在白色區域，無法拒絕最初的論述
練習五 不顯著，0.7956在白色區域，無法拒絕最初的論述
<br/>
- 假設種類: 雙母體區間估計（t-test）
練習一 (變異數相等)
練習二 (變異數不相等)
練習三
練習四 (雙母體變異數比例的信賴區間)
練習五 數值變量
信賴區間怎麼算?
**兩組估計值差異+-兩組誤差幅度**
**兩組估計值差異**: 兩組平均值相差，(A樣本平均值-B樣本平均值)
**兩組誤差幅度**: 兩組t-score * 兩組標準誤差
**兩組標準誤差:** 開根號(A樣本方差平方/A樣本計數 + B樣本方差平方/B樣本計數)
**兩組自由度:** 兩組標準誤差的平方/SUM((A樣本方差平方/A樣本計數)的平方/A樣本數n-1 , (B樣本方差平方/B樣本計數)的平方/B樣本數n-1)
**兩組t-score:** T.INV(1-(2/alpha), 兩組自由度)
假設 西文系學生分數平均 81.3、樣本數量36、方差44.14
法文系學生分數平均 79.5、樣本數量59、方差33.74
信賴水準90%、alpha 0.1
> 兩組估計值差異 = 81.3-79.5 = 1.9
> 兩組標準誤差 = 開根號(44.14/36 + 33.74/59) = 1.34
> 兩組自由度
> ((44.14/36+33.74/59)^2)/SUM((44.14/36)^2/(36-1),(33.74/59)^2/(59-1))
> 兩組t-score = T.INV(1-(2/0.1), 自由度) = 1.668
> 兩組誤差幅度 = 1.668 * 1.34 = 2.24
> 兩組的信賴區間
> 1.9 +- 2.24
-0.34 ~ 4.14，因此 90%信心下，兩系的平均分數之間的差異落在 -0.34 到 4.14
練習六 數值變量
先算出信賴區間，因為不知道整體標準差，使用 配對樣本T檢驗（Paired Sample T-Test）
信賴區間怎麼算?
**點估計值+-誤差幅度**
**點估計值**: 樣本平均值
**誤差幅度**: t-score * 標準誤差
**標準誤差** = 開根號((比例* 反比例)/樣本數量)
假設 高一學生平均總分-高二學生平均總分的差異 = 5.19、樣本數各95、標準差9.22、信賴水準95%、alpha 0.05
>t-score = T.INV(1-(2/0.05),95) = 1.985
>標準誤差 = 9.22/(95開根號) = 0.949
>誤差幅度 = 1.985 * 0.949 = 1.88
>信賴區間
>=5.19 +- 1.88
3.31 ~ 7.07，因此我們有95%的信心，高一同學平均總分>高二同學平均總分 3.31 ~ 7.07 分
練習七 分類變量
信賴區間怎麼算?
數值比例算出來
**兩組比例差異+-兩組誤差幅度**
**兩組比例差異**: 兩組比例相差，(A樣本比例-B樣本比例)
**兩組誤差幅度**: 兩組z-score * 兩組標準誤差
**兩組z-score:** NORM.S.INV(1-(2/alpha))
**兩組標準誤差:** 開根號(SUM(A比例 * A反比例/A樣本數,B比例 * B反比例/B樣本數))
假設轉職班有無經驗的人，三個月內找到工作的比例
有經驗的，樣本23，用COUNTIFS算出有找到17人 0.739、沒找到6人 0.261
無經驗的，樣本72，用COUNTIFS算出有找到36人 0.5、沒找到36人 0.5
信賴水準99%、alpha 0.01
>兩組比例差異 = 0.739 - 0.5 = 0.239
> z.score = NORM.S.INV(1-(2/0.01)) = 2.576
>兩組標準誤差 SQRT(SUM(0.739 * 0.261/23,0.5 * 0.5/72)) = 0.109
>兩組誤差幅度
>2.576 * 0.109 = 0.280
>信賴區間
>0.239 +- 0.280
-0.041 ~ 0.519，因此 99%信心下 有經驗人員和無經驗人員在三個月內找到工作的比例之間的真實差異落在 -4.1% ~ 52% 之間
Sign in with Wallet
Connect another wallet