コードを書き換えながら試行錯誤していたような気がするので、正しい順番で実行するだけでは動作しない可能性があります。多少コードの変更が必要かもしれません。

# 環境

docker 上で動かしていたので以下のDockerfileの通りです。
OSは ubuntu であったことしか覚えていないので OS の詳細はバージョンが知りたければ調べていただけると助かります。

https://github.com/tsukuba-websci/rinko2018/blob/master/keras-docker/Dockerfile

ただ、docker の中に入って install したかもしれないのでいくつかのライブラリが足りない可能性はあります。
参考程度にとどめておいてほしいです。

# 前処理

## 動画(mp4) → 画像(png)

`/jupitorNotebook/teppei/rinko2018/preprocessing/video2image.py`

youtubeのデータセットとして公開されていたもの用

`/jupitorNotebook/teppei/rinko2018/preprocessing/video2image_for_occupation.py`

自分で収集したAltheteとProfessor用

## 動画(mp4) → 音声(mp3)

`/jupitorNotebook/teppei/rinko2018/preprocessing/video2voice.py`

動画から音声を切り出している、youtubeのデータセットとして公開されていたもの用

`/jupitorNotebook/teppei/rinko2018/preprocessing/video2voice_for_occupation.py`

動画から音声を切り出している、自分で収集したAltheteとProfessor用

## 画像(png) → 特徴ベクトル(npy)

`/jupitorNotebook/teppei/rinko2018/preprocessing/image2npy_for_occupation.py`

1. 長方形の画像を正方形にトリミング
2. vggface で学習させた VGG16 を特徴量抽出器として用いベクトルに変換
3. npy ファイルとして保存

を行なっている

## 音声(mp3) → 特徴ベクトル(npy)

`/jupitorNotebook/teppei/rinko2018/preprocessing/pyAudiofeatures_for_occupation.py`

やっていること
https://github.com/tyiannak/pyAudioAnalysis/wiki/3.-Feature-Extraction

## model の input の形に調整している?

https://gist.github.com/euglena1215/e6e2cfba53247d78079b119adb95dbc3

規定の長さに届かない動画があり、次元が足りないといったエラーの対応をするために15秒未満の動画の学習データを弾くなどを行なっている

## 学習 model

https://gist.github.com/euglena1215/cd39781ac2704ce3ab1e3714c97b4efd

---

以下メモ書き

<details>

/saito にあったモデル
https://gist.github.com/euglena1215/cd39781ac2704ce3ab1e3714c97b4efd

/saito にあった前処理
https://gist.github.com/euglena1215/e6e2cfba53247d78079b119adb95dbc3

- /jupitorNotebook/teppei/annotate/preprecess.ipynb

gist の前処理のコードと同じものがおいてあるように見える

- /jupitorNotebook/teppei/occupation

分析をしたときの書き捨てコードが書いてあるだけっぽい？
モデルには関係なさそう

- /jupitorNotebook/teppei/personality-types/*

これは使ってないので関係ない

- /jupitorNotebook/teppei/resnet

imagenetを学習させたresnetを特徴量抽出器として使っているように見える
が、これを使ったかどうかは覚えていない

- /jupitorNotebook/teppei/rinko2018/something.ipynb

分析のときに使いかけたモデルとは無関係のコードに見える

- /jupitorNotebook/teppei/rinko2018/preprocessing
- pyAudioAnalysis
- この中で使ったのは`pyAudiofeatures.py`だけで、これは mp3 の音声ファイルをベクトルに変換する前処理
- image2npy_for_occupation.py
- 画像を正方形に正規化 → vggfaceで学習させたvgg16に入力し特徴量抽出 → npyファイルに保存、 を行なっている
- 最終的にこれをつかった気がする
- ABCD_image2npy.py, image2npy.py, image2npy_for_test_validation.py
- 長方形の画像は扱いにくいので正方形に正規化しつつ、npyファイルに保存している
- 性格ABCDの分類のときのものなのでおそらくoutdated
- spect2image.py
- 使ってない
- spect_im2npy.py
- 使ってない
- video2image.py
- 動画から画像を切り出している、youtubeのデータセットとして公開されていたもの用
- video2image_for_occupation.py
- 動画から画像を切り出している、自分で収集したAltheteとProfessor用
- video2voice.py
- 動画から音声を切り出している、youtubeのデータセットとして公開されていたもの用
- video2voice_for_occupation.py
- 動画から音声を切り出している、自分で収集したAltheteとProfessor用

環境は大まかにはこれ
（dockerの中に入ってinstallしたりしたかもしれないのでいくつかのライブラリが足りない可能性はある）
https://github.com/tsukuba-websci/rinko2018/blob/master/keras-docker/Dockerfile

</details>