Deep Learning: Exploring High Level APIs of Knet.jl and Flux.jl in comparison to Tensorflow-Keras

• 結論:
  • Julia は十分に投資する価値がある
  • Julia は for ループ速い
  • Knet.jl は Julia + littleelse（ナットとボルト）
  • Flux.jl は入門・移行向けであり柔軟性を兼備

データセットの準備

• TF-Keras: 教師トラベルのデータを 訓練用 と 検証用 に分ければ準備終わり
  • ミニバッチ分割・データ流し込みは自動
• Knet.jl: （分割した）データから minibatch オブジェクトを生成し訓練に利用
• Flux.jl: ラベルデータに one-hot エンコーディングが必要
  • バッチ生成等は独自実装できる柔軟性を残している

モデル構築

• 3層MLP
  • TF-Keras, Knet.jl, Flux.jl ともに実装方法については大差はなし
• 内部実装
  • TF-Keras: 53% は C++実装
  • Knet.jl/Flux.jl: いずれも 100% Julia

訓練

• TF-Keras: model.compile() → model.fit()
  • .fit() で訓練データ・検証データ・バッチサイズ・エポック数を指定
• Knet.jl: adam!(model, repeat(dtrn, 100))
  • 検証を含むには for x in adam(model, repeat(dtrn, 100)) ～ のようにしてループ内で処理
• Flux.jl: Flux.@epochs 100 Flux.train!(loss, Flux.params(model), minibatches, Flux.ADAM(), cb=callback)
  • callback に無引数関数を指定、検証やログ出力はその中で実行（もしくは for ループにしてその中で）

評価

• 詳細略

ベンチマーク

• 詳細略

独自再検証

• （別件のデモのために）Fashion-MNIST で（主に速度を）再検証
  • 速度重視、精度軽視（バッチ生成手抜き、バッチサイズと1エポック辺りの事例数は同等になるよう処理）
  • 結果 → Knet.jl / Flux.jl / TF-Keras

• CNN（Conv層）を含めた学習は TF-Keras が圧倒的に速い
  • GPU不使用、CPU上の Conv の実装の問題かもしれない