###### tags: `lab.22` `進捗` # 2022 2月3月の進捗 ## 今後の方針 スタッキング(ブレンディング)学習を行う 理由:いくつかの学習手法を使用すると予測精度が向上する可能性がある 方法: ①いくつかの予測モデルにより予測確率を算出する ②さらに予測確率を説明変数としてロジスティック回帰等のメタモデルを使用して新たな予測確率値を算出する ③性能評価へ ![](https://i.imgur.com/8B7nSdX.png) 混ぜる手法候補 - LGBM(HP探索条件や重み付け設定を変えて複数) - randomforest(HP探索条件や重み付け設定を変えて複数) - BN - LR(変数はURGENCYのもの) - URGENCY - SVM ?https://ainow.ai/2022/01/26/262387/#SVM-4 どの手法を混ぜるべき? いくつくらい混ぜるべき? ## 方法・結果(現在取得可能な特徴量のみ) - データベース 2010-2015 2017-2019 ドライバー絞り - 説明変数(現在取得可能な特徴量のみ) VWEIGHT,BODYG,MALE,AGE,BAGAVLO,BAGAVLF,BELTUSE - 6分割交差検証(HP探索はさらに内側交差検証) ### LGBM RIF-wei HP:F1 ![](https://i.imgur.com/Av4Ir3j.png) ### LGBM RIF-wei HP:LogLoss ![](https://i.imgur.com/Mp1t9e6.png) ### LGBM RIF-wei HP:Recall08 ### LGBM RIF HP:F1 ![](https://i.imgur.com/yypNSyz.png) ### LGBM RIF HP:LogLoss ![](https://i.imgur.com/EwBPGz9.png) ### LGBM RIF HP:Recall08 ### RF RIF-wei HP:F1 ### RF RIF-wei HP:LogLoss ### RF RIF-wei HP:Recall08 ### RF RIF HP:F1 ### RF RIF HP:LogLoss ### RF RIF HP:Recall08 ### BN RIF&RUS ![](https://i.imgur.com/U7zeEjw.png) ### LR RIF&RUS HP:なし(偏回帰係数を学習) ![](https://i.imgur.com/3vJcSDT.png) ### LR RIF HP:なし ![](https://i.imgur.com/JnFF4Ps.png) ### LR RIF-wei HP:なし ![](https://i.imgur.com/T3hO5s5.png) ## 方法・結果(将来的に取得可能ば特徴量まで) - データベース 2010-2015 2017-2019 ドライバー絞り - 説明変数(将来的にドラレコで取得が見込まれる特徴量まで) DV,GAD,OGAD,PDOF,OPDOF,VWEIGHT,OVWEIGHT,WRATIO,BODYG,MALE,AGE,HEIGHT,WEIGHT,BAGAVLO,BAGAVLF,BELTUSE,INTMAG,EXTENT - 6分割交差検証(HP探索はさらに内側交差検証) ### LGBM RIF-wei HP:F1 ![](https://i.imgur.com/cKkySiq.png) ### LGBM RIF-wei HP:LogLoss ![](https://i.imgur.com/nAwicXI.png) ### LGBM RIF-wei HP:Recall08 ### LGBM RIF HP:F1 ![](https://i.imgur.com/0evCX9K.png) ### LGBM RIF HP:LogLoss ![](https://i.imgur.com/DwdWL4t.png) ### LGBM RIF HP:Recall08 ### RF RIF-wei HP:F1 ### RF RIF-wei HP:LogLoss ### RF RIF-wei HP:Recall08 ### RF RIF HP:F1 ### RF RIF HP:LogLoss ### RF RIF HP:Recall08 ### BN RIF&RUS ![](https://i.imgur.com/KAgpwWe.png) ### URGENCY(偏回帰係数を設定) 'DV', 'AGE', 'BELTUSE', 'BAG_BELT', 'PDOFG_Front', 'PDOFG_Rear', 'PDOFG_Side', 'SEATLOCG_Driver', 'SEATLOCG_Passenger', 'CASEWGT','SEATLOCG_Backseat' ![](https://i.imgur.com/4ScOm3B.png) ### LR RIF&RUS HP:なし(偏回帰係数を学習) 'DV', 'AGE', 'BELTUSE', 'BAG_BELT', 'PDOFG_Front', 'PDOFG_Rear', 'PDOFG_Side', 'SEATLOCG_Driver', 'SEATLOCG_Passenger', 'CASEWGT','SEATLOCG_Backseat' ![](https://i.imgur.com/VjtfITG.png) ### LR RIF HP:なし ![](https://i.imgur.com/wLCDYkb.png) ### LR RIF-wei HP:なし ![](https://i.imgur.com/yVinfDw.png) --- https://dodotechno.com/ensemble-stacking/#%E3%82%B9%E3%82%BF%E3%83%83%E3%82%AD%E3%83%B3%E3%82%B0 https://atmarkit.itmedia.co.jp/ait/articles/2112/02/news016.html