---
tags: ブログ記事, 研究会
slideOptions:
transition: slide
theme: white
---

Deep Learning: Exploring High Level APIs of Knet.jl and Flux.jl in comparison to Tensorflow-Keras
===
<!-- .element: style="font-size:100%" -->

2019/06/20 Al-Ahmadgaid B. Asaad
<!-- .element: style="font-size:80%" -->

[Blog Post](https://estadistika.github.io//julia/python/packages/knet/flux/tensorflow/machine-learning/deep-learning/2019/06/20/Deep-Learning-Exploring-High-Level-APIs-of-Knet.jl-and-Flux.jl-in-comparison-to-Tensorflow-Keras.html)

（まとめ：[@antimon2](https://github.com/antimon2)）

---

## どんなもの？

+ 数値計算に傾倒している [Julia](https://julialang.org) の DeepLearning ライブラリを調査し、TF-Keras と比較してみた

----

+ 結論:
+ Julia は十分に投資する価値がある
+ Julia は `for` ループ速い
+ Knet.jl は Julia + littleelse（ナットとボルト）
+ Flux.jl は入門・移行向けであり柔軟性を兼備

---

## どうやって有効だと検証した？

+ [Flux.jl](https://github.com/FluxML/Flux.jl), [Knet.jl](https://github.com/denizyuret/Knet.jl) と TF-Keras で使用方法・学習速度・学習曲線を比較
+ データセットは [Iris](https://en.wikipedia.org/wiki/Iris_flower_data_set) を使用
+ その他、Python と Julia で同条件となるようコーディング

---

## 技術や手法の肝は？

----

### データセットの準備

+ TF-Keras: 教師トラベルのデータを 訓練用 と 検証用 に分ければ準備終わり
+ ミニバッチ分割・データ流し込みは自動
+ Knet.jl: （分割した）データから `minibatch` オブジェクトを生成し訓練に利用
+ Flux.jl: ラベルデータに one-hot エンコーディングが必要
+ バッチ生成等は独自実装できる柔軟性を残している

----

### モデル構築

+ 3層MLP
+ TF-Keras, Knet.jl, Flux.jl ともに実装方法については大差はなし
+ 内部実装
+ TF-Keras: 53% は C++実装
+ Knet.jl/Flux.jl: いずれも 100% Julia

----

### 訓練

+ TF-Keras: `model.compile()` → `model.fit()`
+ `.fit()` で訓練データ・検証データ・バッチサイズ・エポック数を指定
+ Knet.jl: `adam!(model, repeat(dtrn, 100))`
+ 検証を含むには `for x in adam(model, repeat(dtrn, 100)) ～` のようにしてループ内で処理
+ Flux.jl: `Flux.@epochs 100 Flux.train!(loss, Flux.params(model), minibatches, Flux.ADAM(), cb=callback)`
+ `callback` に無引数関数を指定、検証やログ出力はその中で実行（もしくは `for` ループにしてその中で）
<!-- .element: style="font-size:80%" -->

----


----

### 評価

+ 詳細略

----


----

### ベンチマーク

+ 詳細略

----


---

## 議論はある？

+ コードが全体的に不公平
+ TFは内部で毎エポックシャッフルが走る（はず）だが、Julia側のコードは単純なデータ分割＋シャッフル最初の1回だけの模様
+ よく見るとそれぞれでバッチサイズ合ってない、1エポック辺りの事例数も合ってない
+ 100エポックとは言え Iris データセット（事例数合計150、入力4次元出力3次元）なので性能検査するには小さすぎる
+ ⇒Julia側の各結果は「バッチ（再）生成時間が含まれていないために速かった」「データが偏っていたためにたまたま精度が良かった」可能性が高い
<!-- .element: style="font-size:75%" -->

----

### 独自再検証

+ （別件のデモのために）[Fashion-MNIST](https://github.com/zalandoresearch/fashion-mnist) で（主に速度を）再検証
+ 速度重視、精度軽視（バッチ生成手抜き、バッチサイズと1エポック辺りの事例数は同等になるよう処理）
+ 結果 → [Knet.jl](https://nbviewer.jupyter.org/gist/antimon2/2939e75f2620112ac0525c677beab41c/FashionMNIST_Knet_Sample.jl.ipynb) / [Flux.jl](https://nbviewer.jupyter.org/gist/antimon2/2939e75f2620112ac0525c677beab41c/FashionMNIST_Flux_Sample.jl.ipynb) / [TF-Keras](https://nbviewer.jupyter.org/gist/antimon2/2939e75f2620112ac0525c677beab41c/FashionMNIST_TfKeras_Sample.py.ipynb)

----

+ CNN（Conv層）を含めた学習は TF-Keras が圧倒的に速い
+ GPU不使用、CPU上の Conv の実装の問題かもしれない

---

## 先行研究と比べて何がすごい？

+ 《特になし》

---

## 次に読むべき ~~論文~~ 記事は？

+ 「GPUを利用したモデル訓練に今後取り組みたい」と言っているので、その記事が上がったらそれ。