大數據分析

資料內容

原先的資料

• 資料筆數
  • 4925571 筆
• 資料欄位
  • 租借時長
  • 租車日期
  • 租車時間
  • 第幾個小時租車的
  • 租車站點名稱
  • 還車日期
  • 還車時間
  • 還車站點名稱

  ---

  • 觀測時間(hour)
  • 測站氣壓(hPa)
  • 海平面氣壓(hPa)
  • 氣溫(℃)
  • 露點溫度(℃)
  • 相對溼度(%)
  • 風速(m/s)
  • 風向(360degree)
  • 最大陣風(m/s)
  • 最大陣風風向(360degree)
  • 降水量(mm)
  • 降水時數(h)
  • 日照時數(h)
  • 全天空日射量(MJ/㎡)
  • 能見度(km)
  • 紫外線指數
  • 總雲量(0~10)

清洗後的資料

• 資料筆數
  • 117822 筆
• 資料欄位
  • 租借時長
  • 租車日期
  • 氣溫(℃)
  • 降水量(mm)
  • 紫外線指數
  • 相對溼度(%)
• 處理方式
  • 取出以下租車站點
    • 捷運公館站(2號出口)
    • 捷運科技大樓站
    • 捷運公館站(3號出口)
    • 捷運中山國中站
    • 捷運芝山站(2號出口)
    • 捷運永春站(2號出口)
    • 捷運六張犁站
    • 松山車站
    • 捷運行天宮站(3號出口)
    • 捷運東門站(5號出口)
    • 捷運信義安和站(4號出口)
  • 選出特定的時間區間
    • 2021/9~2022/10
  • 剔除沒有紫外線指數的資料
  • 剔除沒有降水量(mm)的資料

import pandas as pd
# 讀取CSV文件
df = pd.read_csv('output_filtered80_modified.csv')

column_mapping = {
    'sub_IN_MIN': 'rental_period',
    'col_4': 'temperature',
    'col_6': 'rh',
    'col_11':'precp',
    'col_16':'uvi'
}

# 重新命名欄位名稱
df = df.rename(columns=column_mapping)
selected_columns = ['rental_period', 'temperature', 'rh', 'precp','uvi','newdate']
place = ['捷運公館站(2號出口)',
         '捷運科技大樓站',
'捷運公館站(3號出口)',
'捷運中山國中站',
'捷運芝山站(2號出口)',
'捷運永春站(2號出口)',
'捷運六張犁站',
'松山車站',
'捷運行天宮站(3號出口)',
'捷運東門站(5號出口)',
'捷運信義安和站(4號出口)'
]
condition = (df['borrow'].isin(place) | df['back'].isin(place)) 
filtered_df = df.loc[condition,selected_columns]
filtered_df = filtered_df[filtered_df['uvi'] != '...']
filtered_df = filtered_df[filtered_df['precp'] != 'T']
# 將修改後的數據保存到新的CSV文件
filtered_df.to_csv('output_trim.csv', index=False)

分析方式

資料

• feature (輸入模型的資料)
  • 氣溫(℃)
  • 降水量(mm)
  • 紫外線指數
  • 相對溼度(%)
• target (模型預測的結果)
  • 租借時長

我們將資料以 8:2 的比例分成訓練資料及測試資料集
測試資料集的目的是用來驗證模型學習的好壞

選用的機器學習演算法

選定三種機器學習演算法，分別為 svm, knn 及 linear regression
我們將資料送入模型進行訓練，並將訓練完的模型保存起來

SVM

資料數量: (117822, 5) -> 代表有 117822 筆資料，每筆資料 feature + target 數量等於 5
訓練集均方誤差： 696.0338094251304
訓練集決定係數： -0.048353252269998315
測試集均方誤差： 673.4159879339156
測試集決定係數： -0.048208325512227646
執行時間： 1077.435385942459 秒

KNN

資料數量: (117822, 5)
訓練集均方誤差： 767.8788588645937
訓練集決定係數： -0.1565649371327893
測試集均方誤差： 749.6541616804583
測試集決定係數： -0.1668771570737615
執行時間： 0.6420707702636719 秒

Linear Regression

資料數量: (117822, 5)
訓練集均方誤差： 663.6433406837687
訓練集決定係數： 0.00043267276373226693
測試集均方誤差： 641.7846268947011
測試集決定係數： 0.001027594903492357
執行時間： 0.07284665107727051 秒

評量方式

• MSE (均方誤差)
  • 模型預測的結果與 Ground Truth 的差異取平方 eg. predict: 10 , gt : 15, mse: |10 - 15|^2 = 25
• R2 Score (決定係數)
  • R2 Score的範圍從0到1，越接近1表示模型的預測能力越好，而越接近0則表示模型的預測能力越差。

結論

根據 MSE 和 R2，推論我們選定的 feature 和 target 之間關聯性很差
這個些模型都無法準確地預估騎車時長

改進

資料分布

猜測離群數值影響了訓練結果，導致 MSE 和 R2 表現糟糕

• 指數版本
  
  
• 一般版本
  
  

決定剔除租借 50 分鐘以上的資料

• 資料數量
  • 113544 筆

重新進行實驗

SVM

資料數量: (113543, 5)
訓練集均方誤差： 19.85358104962295
訓練集決定係數： -0.05685092004902881
測試集均方誤差： 20.18769123097845
測試集決定係數： -0.05967403496688384
執行時間： 437.2216897010803 秒

KNN

資料數量: (113543, 5)
訓練集均方誤差： 21.7633890393465
訓練集決定係數： -0.15851430893647867
測試集均方誤差： 22.54635254744815
測試集決定係數： -0.18348275215730436
執行時間： 0.6538197994232178 秒

Linear Regression

資料數量: (113543, 5)
訓練集均方誤差： 18.7659251205485
訓練集決定係數： 0.0010474594154125105
測試集均方誤差： 19.039891009537513
測試集決定係數： 0.0005752564490546508
執行時間： 0.06607651710510254 秒

結論 MSE 降低很多
但 r2 表現仍不是很好 (可以考慮不要放)