自己紹介

• 名前：後藤 俊介
• 所属：有限会社 来栖川電算
• コミュニティ：機械学習名古屋, NGK2017B, Python東海, Ruby東海, Rails Girls Nagoya（コーチ）, …
• 言語：Julia, Python, Ruby, Scala（勉強中）, …
• @antimon2 / antimon2
• antimon2 / @antimon2

Julia とは？(1)

• 公式サイト（英語） https://julialang.org
• Python/Ruby/R 等の「いいとこどり」言語！
• 動作が速い！（LLVM JIT コンパイル）
• 2017/12/14 に最新 v0.6.2 リリース！
  • もうすぐ v1.0 が出る（はず）
• 検索するときは julialang もしくは julia言語 で！

Julia とは？(2)

• Rのように中身がぐちゃぐちゃでなく、
• Rubyのように遅くなく、
• Lispのように原始的またはエレファントでなく、
• Prologのように変態的なところはなく、
• Javaのように硬すぎることはなく、
• Haskellのように抽象的すぎない

ほどよい言語である

引用元：http://www.slideshare.net/Nikoriks/julia-28059489/8

Julia とは？(3)

• C のように高速だけど、
  Ruby のような動的型付言語である
• Lisp のようにプログラムと同等に扱えるマクロがあって、しかも
  Matlab のような直感的な数式表現もできる
• Python のように総合的なプログラミングができて、
  R のように統計処理も得意で、
  Perl のように文字列処理もできて、
  Matlab のように線形代数もできて、
  shell のように複数のプログラムを組み合わせることもできる
• 超初心者にも習得は簡単で、
  超上級者の満足にも応えられる
• インタラクティブにも動作して、コンパイルもできる

（Why We Created Julia から抜粋・私訳）

主な機能

• 多重ディスパッチ
• 動的型システム
• 並行・並列処理、コルーチン
• 組込パッケージマネージャ

CIFAR-10 とは？

• CIFAR-10 とは？（今回のハンズオン資料より）

CIFAR-10 データ型の定義

# 24584bits（＝3073bytes）の Primitive Type を定義
primitive type CIFAR10Record 24584 end
 

CIFAR-10 データの読込

function Base.read(stream::IO, ::Type{CIFAR10Record})
    bytes = read(stream, UInt8, 3073)
    reinterpret(CIFAR10Record, bytes)[1]
end

# 例：
record0 = open("test_batch.bin", "r") do f
    return read(f, CIFAR10Record)
end

CIFAR-10 データの概要表示

function Base.show(io::IO, record::CIFAR10Record)
    bytes = reinterpret(UInt8, [record])
    print(io, "CIFAR10Record(")
    # show 1st byte(=label)
    show(io, bytes[1])
    print(io, ", ")
    # show hashcode of the rest of bytes(=image)
    show(io, hash(bytes[2:end]))
    print(io, ')')
end

# 例：
string(record0)
# => "CIFAR10Record(0x03, 0xd0b45b812aae12b1)"

CIFAR-10 データの画像としての表示

• Jupyter notebook とかだと 画像として表示できると分かりやすい。
• 冬休みにその実験をした（→ Julia で CIFAR-10 データを画像として表示してみる（外部パッケージ無しで））
• ここでは結果のみ紹介↓

CIFAR-10 データの読込（バッチ処理編）

function readtrain(channel::Channel{Tuple{CIFAR10Record}}, 
                    fid::Int, datadir::String=datadir)
    if isopen(channel)
        filepath = joinpath(datadir, "data_batch_$(fid).bin")
        open(filepath, "r") do f
            while isopen(channel)
                for idx in shuffle(0:9999)
                    seek(f, idx * 3073)
                    record = read(f, CIFAR10Record)
                    put!(channel, (record,))
                end
            end
        end
    end
end

function train_batch_produce(channel::Channel{Tuple{CIFAR10Record}}, 
                             datadir=datadir)
    train_channels = [Channel{Tuple{CIFAR10Record}}(32) for _=1:5]
    for fid in 1:5
        @schedule readtrain(train_channels[fid], fid, datadir)
    end
    while true
        try
            put!(channel, take!(rand(train_channels)))
        catch ex
            for ch in train_channels
                close(ch)
            end
            return
        end
    end
end

struct CF10Batch
    channel::Channel{Tuple{CIFAR10Record}}
    batchsize::Int
end
 
function (f::CF10Batch)()
    buf = reshape(reinterpret(
              UInt8, 
              collect(Iterators.take(f.channel, f.batchsize))
          ), (:, f.batchsize))
    return (buf[2:3073, :], buf[1, :])
end

train_channel = Channel{Tuple{CIFAR10Record}}(32)
@schedule train_batch_produce(train_channel)
trainbatch = CF10Batch(train_channel, 128)
 
# data, label = trainbatch()
# ↑実行する度に新しいデータが返ってくる

CNNの構築

• Julia 用 Deep Learning F/W（いくつか）：
  • MXNet.jl（軽量・効率性・柔軟性がウリ）
  • TensorFlow.jl（TensorFlow のラッパー）
  • Merlin.jl（最近出てきた、日本製）
• 今回は、書籍 ゼロから作る Deep Learning を参考にスクラッチ実装（！）

CNNの構築

• いろいろやったけれど時間が無いので結果だけ↓
• Cifar10TrainSample.jl.ipynb （nbviewer）
• Cifar10PredictSample.jl.ipynb （nbviewer）

考察

• 思ったより遅い（学習も推測も）
  • Convolution や Pooling が forward/backward ともに時間かかってる
    → im2col/col2im あんまし速くない？
• 特別な正則化してない（入力を255で割って0.0〜1.0の範囲内にしただけ）
• cropping やその他 data-augmentation も何もしてない
• でも取り敢えず学習動いたっぽい