# 探索的な定型データのデータサイエンスのフロー(の例)

graph TD
    ST[リサーチクエスチョンの設定]
    Node0[データの収集]
    Node1[分析開始]
    Operation0(概念図、変数連関図、特性要因図等の作成)
    Operation1(各変数の意味と役割の確認\n要因、アウトカム、共変量等)
    Operation2(変数の並べ替え\nアウトカム→要因→共変量)
    Operation3(各変数の総覧)
    Operation4(変数間の関係の総覧)
    Operation5(シナリオ作成)
    Operation6(相関分析と偏相関分析)
    Operation6A(回帰分析)
    Operation7(次元縮約)
    Operation8(グラフ探索)
    Operation9(予測分析)
    Condition{シナリオ評価}
    Operation11{シナリオ見直し}
    Operation12(層別)
    Operation13(層生成)
    Operation14(特徴量追加)
    Operation15(チューニング)
    Operation16(変数選択)
    Operation17(モデル選択)
    Operation18(ハイパーパラメータ調整)
    ED[報告書起草]
    Report1(考察のメモ起草)
    Report2(概念図、変数連関図、特性要因図等の改訂)
    Report3(モデル図やモデル表の準備)
    Report4(その他の図や表の準備)
    ST --> Node0 --> Node1 --> Operation0
    Operation0 --> Operation1
    Operation1 --> Operation2
    Operation2 --> Operation3
    Operation3 --> Operation4
    Operation4 --> Operation5
    Operation5 --> Operation6 --> Operation6A
    Operation5 --> Operation7
    Operation7 --> Operation8
    Operation7 --> Operation9
    Operation5 --> Operation8
    Operation5 --> Operation9
    Operation6 --> Condition
    Operation6A --> Condition
    Operation7 --> Condition
    Operation8 --> Condition
    Operation9 --> Condition
    Condition -- 目標未達 --> Operation11
    Operation11 -- 不均質 --> Operation12
    Operation11 -- 不均質 --> Operation13
    Operation11 -- 不十分 --> Operation14
    Operation11 -- 範囲変更 --> Operation7
    Operation11 -- 範囲変更 --> Operation8
    Condition -- 要汎化 --> Operation15
    Operation12 --> Operation6
    Operation12 --> Operation7
    Operation12 --> Operation8
    Operation12 --> Operation9
    Operation13 --> Operation6
    Operation13 --> Operation7
    Operation13 --> Operation8
    Operation13 --> Operation9
    Operation14 --> Operation6
    Operation14 --> Operation7
    Operation14 --> Operation8
    Operation14 --> Operation9
    Operation15 --> Operation16
    Operation15 --> Operation17
    Operation15 --> Operation18
    Operation16 --> Condition
    Operation17 --> Condition
    Operation18 --> Condition
    Condition -- 目標達成 --> ED
    Condition -- リセット --> Node0
    Condition -- リセット --> Node1
    ED --> Report1 --> Report2 --> Report3 --> Report4

## リサーチクエスチョンの設定

リサーチクエスチョン(データ分析の目的と目標)を設定する。

## 総覧・鳥瞰・俯瞰

* 1変量の分析・ヒストグラム
* 2変量の分析・散布図・クロス集計

## 相関分析

* 変数間の線形関係の分析
* 線形性を仮定

## 重回帰分析

* アウトカム変数と共変量の関係を分析
* 線形近似の下での推論を提供

## 次元縮約

すべての変数、あるいは一部の変数を、それらよりも低次元の変数に合成して要約すること。

* **主成分分析**は線形変換
* 多次元尺度構成法も線形変換
* カーネル主成分分析は非線形変換
* 多様体学習は非線形変換 (多変量埋め込み)
* 対応分析 (コレスポンデンス分析)

## グラフ探索・検証

変数間の関係(構造)を探索したり検証したりすること。

* 線形性を仮定
* 変数間の関係を探索
* **因子分析**
* **共分散構造分析** (構造方程式モデリング)

## 予測分析

重回帰分析の拡張。

一次モデル。

* 期待値予測
* 重回帰分析
* ロジスティック回帰分析
* ポアソン回帰分析
* 指数回帰分析
* 生存時間回帰分析
* 判別分析
* 決定木分析 (交互作用許容)
* サポートベクトルマシン、サポートベクトル回帰
* ニューラルネットワーク

一次モデルのアンサンブル学習。

* 回帰、決定木
* ブースティング
* XG-Boost
* LightGBM
* バギング
* RandomForest
* AutoML

注意点

* データの発生時点に注意する。
* 相関で予測していいか検討する。
* 結果で予測しない。
* モデルの学習のための仮定を検討する。
* 残差分析
* 推定に逆行列を用いる$\Rightarrow$多重共線性
* 外れ値、てこ比

## 層別

BY

* 母集団に異質性が予見される場合は、その異質性を規定する要因で層別して分析する
* 層生成や層別探索の手法を層別に用いる場合は、アウトカム変数を入れないと、得られた層別が因果関係の「因」の候補となる
* アウトカム変数も含めて層別するのは、原因系と結果系の変数がいずれも、異なる範囲で異なるモデルが得られそうなとき (結果系を含めると後ろ向き研究になる)

## 層生成・層別探索

データに層別を提案させる。

* **階層クラスタリング**：N数が少ない場合(N数が多いと計算量と表現の観点から使い物にならなくなる)
* **k-means法**：N数が多い場合
* **潜在クラス分析**：変数がすべて名義尺度か順序尺度の場合(N数が千や万のオーダーになると計算量や解釈に少し苦労する、最適なクラス数が多くても解釈に苦労する)
* 正規混合分布(潜在プロファイル分析)：N数がある程度多い場合(最適なクラス数が多いと解釈に苦労する)
* 決定木・回帰木(二項分布や正規分布の層別探索に相当)

## 汎化能力の向上

* 期待損失最小化のためのハイパーパラメータの調整
* 変数選択
* モデル選択
* スパース回帰(LASSO)

## 評価

* 予測能力
* MSE, RMSE
* エントロピー損失
* 当てはまりの良さ
* 決定係数, $R^2$
* 寄与率
* 分散分析
* 単純構造
* 解釈
* 説明能力
* モデル選択基準
* AIC
* BIC
* AICc
* CIC
* リサーチクエスチョンに解(の候補)が得られたか