# Python AutoML API Functions __Domain:__ http://34.68.152.52/ ## General function #### 注意 * 此處日期、字串**不須**單引號 | URL | Output | Parameter | | -------- | -------- | -------- | |generate_config | 傳回之後所有function所需參數 |BRAND_ID| |||END_DATE_DATE_PURCHASE| |||ONLINE| #### Usage ``` curl -d "BRAND_ID=01&END_DATE_PURCHASE_PREDICTION=2019-08-31&ONLINE=1" http://34.68.152.52/generate_config ``` #### Return 說明之後的 Automl Function 分別會用到哪些 generate_config 回傳出來的參數,以及參數的意義。 |Automl Function|Output|Meaning|Note| |--|--|--|--| |Table Name (通用)|DATASET|loreal-tw 底下的 dataset name|| ||CID_TABLE_NAME||| ||GA_SESSION_TABLE_NAME||| ||ORDERDETAIL_TABLE_NAME||| ||FINAL_TABLE_NAME||| ||FINAL_PREDICTION_TABLE_NAME||| |Create_Dataset|AUTOML_DATASET_DISPLAY_NAME|要創建的 automl dataset name|| |Import_Data|BQ_INPUT_URI|要匯入的 BQ dataset 路徑|| |Create_Model|MODEL_DISPLAY_NAME|創建的 model 名稱|| |Batch_Prediction|PREDICTION_INPUT_PATH|要預測的 table 路徑|要包含 table name| ||PREDICTION_OUTPUT_PATH|要存放預測結果的路徑|| |user_table_*|START_DATE_PURCHASE_TRAIN||| ||END_DATE_PURCHASE_TRAIN||| ||START_DATE_PURCHASE_VALID||| ||END_DATE_PURCHASE_VALID||| ||START_DATE_PURCHASE_TEST||| ||END_DATE_PURCHASE_TEST||| ||START_DATE_PURCHASE_PREDICTION||| ||END_DATE_PURCHASE_PREDICTION||| ||START_DATE_VIEW_TRAIN||| ||END_DATE_VIEW_TRAIN||| ||START_DATE_VIEW_VALID|用在 user_ga_criteria_valid 的 first_eligible_date|| ||END_DATE_VIEW_VALID|用在 user_ga_criteria_valid 的 last_viewdate|| ||START_DATE_VIEW_TEST||| ||END_DATE_VIEW_TEST||| ||START_DATE_VIEW_PREDICTION||| ||END_DATE_VIEW_PREDICITON||| ||ONLINE|要創建線上或線下的table|True or False| ## Automl functions | URL | Output | Parameter | | -------- | -------- | -------- | |Create_Dataset|創建 Automl Dataset,回傳 Dataset full id|DATASET_DISPLAY_NAME| |Import_Data|將 Bigquery Table 匯入至 Automl Dataset,回傳 result (bool)|AUTOML_DATASET_FULL_ID| |||BQ_INPUT_URI| |Change_Column_Type|更改特定欄位格式|DATASET_DISPLAY_NAME| |||change_column_name| |||[new_data_type](https://cloud.google.com/automl-tables/docs/reference/rpc/google.cloud.automl.v1beta1#google.cloud.automl.v1beta1.TypeCode)| |Set_Target_Column|設定訓練目標欄位,回傳 response(json?)|AUTOML_DATASET_FULL_ID| |||DATASET_DISPLAY_NAME(跟ID擇一)| |Create_Model|開始訓練模型,回傳 result (bool)|AUTOML_DATASET_FULL_ID| |||DATASET_DISPLAY_NAME(跟ID擇一)| |||MODEL_DISPLAY_NAME| |||train_hours (default=1000)| |||objective (default=MAXIMIZE_AU_PRC)| |Batch_Prediction|預測資料,回傳 result (bool)|MODEL_DISPLAY_NAME(跟model_full_id擇一)| |||model_full_id| |||input_path| |||output_path| #### Usage ``` curl -d "PROJECT_ID=summer-sector-253913&DATASET_DISPLAY_NAME=Test" http://34.68.152.52/Create_Dataset ``` ## Bigquery SQL functions __功能__:皆為在 Bigquery 建立對應的 View 表。 以下 function 皆有 __共通參數__: * dest_tbl_name: 新建的 View 表名稱 * dest_ds_name: 存放 View 表的 Dataset Name (必須是已存在的,若不存在不會自動建新的) ~~#### 注意:~~ ~~* Table Name 都要有 quote 「\`」~~ ~~* 日期、字串都要有單引號~~ | URL | Parameter | Example | -------- | -------- | -------- | |user_table|CID_table|\`loreal-tw.ip_automl_45991883.CID\` | ||ga_session_table|\`loreal-tw.45991883.ga_sessions_*\`| ||OrderDetail_table|\`loreal-tw.ip_automl_45991883.OrderDetail\`| ||Brand_ID|'01'| ||start_date_view|'2018-02-01'| ||end_date_view|'2019-05-31'| ||start_date_purchase|'2018-05-01'| ||end_date_purchase|'2019-05-31'| ||online|1| |user_ga_criteria_train|user_table_train|\`loreal-tw.ip_automl_45991883.user_table_train\`| ||online|1| |user_ga_criteria_valid|user_table_valid|\`loreal-tw.ip_automl_45991883.user_table_valid\`| ||last_viewdate|'2019-06-30'| ||first_eligible_viewdate|'2019-04-25'| ||online|1| |user_ga_criteria_test|user_table_test|\`loreal-tw.ip_automl_45991883.user_table_test\`| ||online|1| |selected_features_v4|ga_session_table|\`loreal-tw.45991883.ga_sessions_*\`| ||Brand_ID|01| |model_data|user_ga_criteria_table|\`loreal-tw.ip_automl_45991883.user_ga_criteria_train\`| ||Brand_ID|01| ||selected_features_v4_table|\`loreal-tw.ip_automl_45991883.selected_features_v4\`| |final_table|model_data_train_table|\`loreal-tw.ip_automl_45991883.model_data_train\`| ||model_data_test_table|\`loreal-tw.ip_automl_45991883.model_data_test\`| ||model_data_valid_table|\`loreal-tw.ip_automl_45991883.model_data_valid\`| #### Usage * create user_table ``` curl -d "CID_table=`loreal-tw.ip_automl_45991883.CID`&end_date_view='2019-05-31'&ga_session_table=`loreal-tw.45991883.ga_sessions_*`&start_date_view='2018-02-01'&OrderDetail_table=`loreal-tw.ip_automl_45991883.OrderDetail`&Brand_ID='01'&start_date_purchase='2018-05-01'&end_date_purchase='2019-05-31'&dest_tbl_name=test&dest_ds_name=automl_45991883&online=1" http://34.68.152.52/user_table ``` ## Problem #### clientid 被截斷 在手動訓練的時候,一定要記得把 clientid 換成類別型態,不然預測的時候會有 clientid 變成 float 然後被截斷的問題。 ## Note * 目前 generate_config 出來的 final_table 是指到 final_table_physical * 07 的 selected_features_v4 與 01 相同,尚未特化