---
# System prepended metadata

title: wids datathon 2022
tags: [kaggle]

---

---
title: wids datathon 2022
tags: kaggle
description: feature engineering.
---

# Wids datathon

[toC]

<!-- Put the link to this slide here so people can follow -->
slide: https://hackmd.io/inB5h3e2Sum_QfrbAd1cow

---

## Compare

| No | base | tag|  change | local score | lb score | summary |
| -------- | -------- | -------- |-------- | -------- | -------- | -------- |
| 1 |  |lgb baseline |params:<br> nfold:5<br>  objective = 'regression',<br> metric = 'rmse',<br> num_leaves = 63,<br> learning_rate = 0.05,<br> early_stopping_rounds = 200,<br> num_iterations = 10000 <br> | 40.59 | 60.111  | |
| 2 |  |baseline lgb+catboost|lgb(as shown above) <br> catboost: <br> nfold:5<br>  random_seed =42,<br> max_depth = 12,<br> task_type = 'CPU',<br> learning_rate = 0.05,<br> loss_function = 'RMSE',<br> eval_metric = 'RMSE' <br> verbose = 1000, <br> early_stopping_rounds =200,<br>iterations=10000 | lgb:39.4163 cat boost:38.8233 | 44.407     |  |
| 3 | 1 |lgb 5fold |fill na with crowd | 38.9829 | 49.207 | |
| 4 | 3 |lgb 5fold |fill na with median | 39.5051 | 49.097  | |
| 5 |   |catboost 5fold |fill na with crowd | 40.3708 | 47.067  | |
| 6 | 5 |catboost 5fold |fill na with median | 39.1255 | 42.049  | |
| 7 | 1  | |  | 39.0522 |   | |
| 8 | 7  |fill na: df_train[df_train['year_built']==0.] = df_train['year_built'].median() |  | 39.1150 |   | |
| 9 | 8  |fill na: train_X[train_X['energy_star_rating']==0.] = train_X['energy_star_rating'].median()|  |39.0952  |   | |
| 10 | 9  | train_X['floor_energy'] = train_X['energy_star_rating'] * train_X['floor_area']
 |  | 38.7665 |   | |
| 11 | 10  | train_X['temp_dist'] = abs(72 - train_X['avg_temp']) <br> train_X['floor_temp'] = train_X['floor_area'] * train_X['temp_dist']|  | 38.9128 |   | 效果不好|
| 12 |   | lgb 6fold:split by "Year_Factor"，多feature训练结果ensemble | (1).all features </br> (2).top 4 features:'facility_type','energy_star_rating','year_built','floor_area' </br> (3). 2+'State_Factor' </br> (4).3+'combination_variables'</br> submission:取（2）+（3）的结果平均| (1)min:40.7444  mean: 42.8671 std: 6.2677</br>41.7669_35.8279_36.6863_46.2491_42.1929_54.4796</br> (2)min:35.3380 mean: 37.8695 std: 7.8550</br>36.2197_26.3413_31.6727_42.9942_39.1467_50.8425</br>(3)min:36.8348 mean: 38.2551 std: 8.1029</br>42.5652_25.0453_31.4329_41.9644_38.4124_50.1101</br>(4)min:36.6349 mean: 38.6949 std: 7.9481</br>40.4512_26.8241_31.8070_41.6914_39.3522_52.0435</br> |  28.173 | 只取top feature有时候效果蛮好 |
| 13 | 12  | catboost 6fold:split by "Year_Factor"，多feature训练结果ensemble | submission:取（2）+（3）的结果平均 | (1)min:43.1294  mean: 44.8852 std: 5.8810</br>44.8140_38.8423_38.1992_48.6426_43.4363_55.3770</br> (2)min:34.2055 mean: 34.2055 std: 7.1102</br>36.2553_24.6916_30.0143_41.3582_38.1077_46.3199</br>(3)min:36.7158 mean: 37.0932 std: 8.3008</br>45.0657_23.3514_29.2624_40.5467_37.9061_46.4270</br>(4)min:36.8132 mean: 37.1553 std: 8.14</br>45.1379_23.6118_29.5363_40.4972_37.9944_46.1542</br> |  25.669 | catboost目前的参数训练的结果比lgb的分数高一些 |
| 14 | 13  | catboost 6fold:split by "Year_Factor"，多feature训练结果ensemble | submission:取（2）+（4）的结果平均 |  |  25.716 |  |
| 15 | 13  | catboost 6fold:split by "Year_Factor"，多feature训练结果ensemble | submission:取（2）+（3）+(4)的结果平均 | |  25.490 | 融合3个model的效果更好一些 |
| 16 | 12  | lgb 10 fold | submission:取（2）+（3）+(4)的结果平均 |（1）39.5946 mean: 39.5405 std: 2.0690</br>(2)36.3913 mean: 36.3186 std: 2.2975</br>(3)</br>(4)</br>|  25.490 | 融合3个model的效果更好一些 |

## feature engineer
id：建筑物ID

Year_Factor：观察天气和能源使用因素的匿名年份。

year_built：建筑的建造年份。

State_Factor：建筑物所在的匿名状态。

building_class: 建筑物分类

facility_type: 建筑物使用类型

floor_area: 建筑物的建筑面积（单位：平方英尺）。

Energy_star_rating: 建筑物的能源之星等级。

ELEVATION：建筑物位置的坡度。

january_min_temp：建筑物所在地一月的最低温度（华氏）。

january_avg_temp：建筑物所在地一月的平均温度（华氏）。

january_max_temp：建筑物所在地一月的最高温度（华氏）。

cooling_degree_days：某一天的冷却度日是指日平均温度超过华氏65度的度数。每个月相加，得出建筑物所在地的年度总数。

heating_degree_days：某一天的采暖度日是指日平均温度低于华氏65度的度数。每个月相加，得出建筑物所在地的年度总数。

precipitation_inches：建筑物所在地的年降水量，单位为英寸。

snowfall_inches：建筑物所在地的年降雪量，单位为英寸。

snowdepth_inches: 建筑物所在地的年雪深，以英寸为单位。

avg_temp: 建筑物所在地一年内的平均温度

days_below_30F: 建筑物所在地低于华氏30度的总天数

days_below_20F: 建筑物所在地低于华氏20度的总天数

days_below_10F: 建筑物所在地低于华氏10度的总天数

days_below_0F: 建筑物所在地低于华氏0度的总天数

days_above_80F: 建筑物所在地的华氏80度以上的总天数

days_above_90F: 建筑物所在地超过华氏90度的总天数

days_above_100F: 建筑物所在地超过华氏100度的总天数

days_above_110F: 建筑物所在地超过华氏110度的总天数

direction_max_wind_speed：建筑物所在地的最大风速的风向。以360度罗盘点方向给出（例如，360=北，180=南，等等）。

direction_peak_wind_speed：建筑物所在地的峰值风速的风向。以360度罗盘点方向给出（例如，360=北，180=南，等等）。

max_wind_speed：建筑物所在地的最大风速

days_with_fog：建筑物所在地有雾的天数。