# みんなでつくる深層生成モデル用語集
##### by KIA 先端技術研究会 深層生成モデル

## 概要
機械学習、人工知能周りで使われている用語は、普段使っていないとベテランエンジニアでも分からないものが多い。
教える側も使い慣れすぎていて、何を教えればよいのか分からない。

そこで、分からない用語が出てきたら、ここに記載してもらって、みんなで充実させていくことで、初心者でも研究会に参加しやすくしようという試みです。

一般的な用語説明というよりも、プログラマーが理解しやすい説明、実装のためになることを目指します。

## フォーマット
#### 用語
- 読み方
- よみかた
- 別名
- 別名
- 説明
- 説明を記載

#### 用語
- 読み方
- ヨミカタ
- 説明
- 説明を記載
- コード例

import format
#コード例

- リンク
- [外部サイト](http://www.google.com)

# 用語集
## Python、実装

#### numpy
- 読み方
- ナムパイ
- 説明
- 数値計算を効率的に行うための拡張モジュール
- 行列計算を多用する深層学習では多用される。
- numpy配列同士の四則演算は並列で一気に処理される。

#### Colaboratory
- 読み方
- コラボラトリ|コラボレイトリ
- 説明
- Googleが提供するWebブラウザから扱えるPython実行環境でGPUも利用できる。
- 無料で一定程度使えるが、長時間利用すると途中でセッションが切れたり、一定期間おかないと再利用できなくなる。

#### ノートブック
- 説明
- Pythonでは、セルごとに実行できる仕組みを持ったもの
#### Jupyter Note Book
- 読み方
- ジュピターノートブック
- 説明
- ノートブックの仕組みを最初(?)に導入したアプリ
#### TensorFlow
- 読み方
- テンソルフロー
- 説明
- Google製の機械学習系のライブラリ
#### mediapy
- 読み方
- メディアパイ
- 説明
- グラフやチャート表示系のライブラリ
#### プロット
- 説明
- グラフやチャートにデータを点で表示すること
#### Dense
- 読み方
- デンス
- 説明
- 全結合層。
- 識別モデルの出力層の最後は大体これ。
- 分類したい種類分のユニットを持ったDense層にする。
- 学習済みモデルの後ろにDense層を付けただけである程度の転移学習ができる。
#### ReLU
- 読み方
- レル
- 説明
- 活性化関数の一つ。
- 0より小さければ0、0以上なら値そのまま。という超単純な関数。
#### compile関数
- 読み方
- コンパイルかんすう
- 説明
- TensorFlowライブラリのtf.keras.Modelの関数
- 作成したモデルの学習方法を設定する関数
#### fit関数
- 読み方
- フィットかんすう
- 説明
- TensorFlowライブラリのtf.keras.Modelの関数
- 作成したモデルを学習させる関数
- モデルのレイヤーを定義、compile、fitの流れで学習
- fitを何度呼んでも学習済みの重みはクリアされない。

#### アンダースコア( _ )
- 読み方
- アンダースコア
- 説明
- Return値を無視する。
- 関数の名付けで使い方を区別する。
- 数字を読みやすくする。
- インタプリタで最後に表示された値を代表する。
- リンク
- [Pythonの_(アンダースコア)の扱いまとめ](https://mako-note.com/ja/python-underscore/)

#### tf.newaxis
- 読み方
- 　
- 説明
- 大きさ1の新たな次元を追加する。
- 「ここでは次元を追加していますよ」というのが客観的にわかるようになっている。
- コード例

print(tf.newaxis)
# None

print(img[tf.newaxis, ...].shape)
# (1, 28, 28)

## 機械学習

#### ロス関数
- 別名
- 損失関数
- 説明
- 期待値と出力結果の値がどれだけズレている(損失している)かを確かめる方法
- この値が下がるようにパラメータを調整するのが機械学習の原則
- 二乗誤差など、上にズレても下にズレても、ズレとして認識できるようなものにする。
#### 評価関数
- 説明
- 基本的にはロス関数と一緒で、期待値と出力結果の値がどれだけズレているかを確かめる方法
- ロス関数が期待値と近いほど下がることを前提としているが、評価関数は上がってもよい。
#### 過学習
- 説明
- データセットを学習しすぎて、新たに入力したデータに対して上手く機能しない状態。
- ロス関数はしっかり下がり、見たことのあるデータについてはきちんと機能する。
- 過学習しないように、モデルにゆるさ(ドロップアウトetc)を持ったり、データ数を増やしたり、様々なデータを用意したりする。
#### 深層学習
- 別名
- ディープラーニング
#### 転移学習
- 説明
- 事前に学習済みのモデルに追加で別の学習をさせることで、１から学習するよりも効率良く学習させること。
- 単純な部分は大抵似たような学習をする場合が多い。
- 自分のやりたい学習に近い学習をしているものを探すと精度がよくなりやすい。
#### 最適化問題
#### データセット
- 説明
- 学習させるデータのまとまり。
- 自分で作成することもできるし、いろんなところに公開されている。
- リンク
- [Google Colabでimportすれば使えるデータセット](https://knowyourdata-tfds.withgoogle.com/)
#### チャンネル
- 説明
- 画像では色の次元数を指す。
- 画像を縦、横、チャンネルの3次元で表す。
- 1ならグレースケールの白黒画像。
- ３ならカラー画像。４なら透過ありの画像。
- 注意点
- グレースケールは2次元で表す場合もある。
- ライブラリによって、RGB、BRG、ARGB、RGBAなど、バイトが表す色の位置が変わる場合がある。
#### レイヤー
- 説明
- 層のこと。
- 入力層、中間層、出力層と順にレイヤーを処理していく。
- 中間層は複数ある場合が多い。
- tf.keras.layers.Layerで実装するとスッキリする。
#### ユニット
#### 特徴量
#### 特徴マップ
#### epoch
- 読み方
- エポック
- 説明
- データセットを何周学習するか
- １周だけでは最適な調整は難しい
- たくさん学習されればよく学習されるが、一定程度でロスが減らなくなる。
- それ以上やってもあまり効果がないことが多い。
- 逆に過学習になってしまう。
- GANの場合はその限りではない。

#### GPU
- 読み方
- ジーピーユー
- 説明
- Graphics Processing Unit
- 画像処理に特化した演算装置
- 通常のPCで利用されるCPUに比べて、並列演算性に優れている
- ニューラルネットワークでは、簡単な演算をたくさん並列して実施する作りになっているので、GPUを利用することで高速処理できる。
#### モデル
- 説明
-　レイヤーをまとめたシーケンス、最適化関数、ロス関数を定義し、重みを保持して、学習と利用ができるようにしたもの
- tf.keras.Modelで実装するとスッキリする。
#### ニューラルネットワーク
- 説明
- 人間の神経細胞を模した計算処理方法
- 細胞が並んでいて、一定程度信号が強くなると次の神経細胞に信号が伝達される。
- 伝達される信号の強さもそれぞれで異なる。
#### 畳み込みニューラルネットワーク
- 別名
- CNN
#### 深層ニューラルネットワーク
- 別名
- DNN
- 説明
- ニューラルネットワークが深くつながったもの
- 入力層→中間層→出力層という形になっていて、3層以上からがDNN(?)
- 中間層は1層以上ならいくつでもよい。
#### MNIST
- 読み方
- エムニスト
- 説明
- 手書き数字の画像データセット
- 合計6万枚の画像とラベル(0～9)のリスト
- pythonでは手軽にダウンロードして使えるので、機械学習の入門によく使われる。
## 数学

#### スカラー
- 説明
- 普通の数値

#### 行列
- 読み方
- ぎょうれつ
- 説明
- プログラム的には二元配列のこと

#### テンソル
- 説明
- プログラム的には多次元配列のこと

#### 微分
- 読み方
- びぶん
- 説明
- グラフでいう傾きのこと。
- イメージさえできればよい。実際のプログラムでは機械学習系のライブラリがやってくれる。
- 関数fの、とある点xでの微分は以下のイメージ
※ただしαはすごく小さい数。

(f(x+α) - f(x)) / α

#### 積分
- 読み方
- せきぶん
- 説明
- 微分の反対。
- 関数fの、とある点x1からx2までの積分は以下のイメージ

int sum = 0;
for(int i = x1; i < x2; i++){ sum += f(i); }

#### 回帰
#### 近似
#### 主成分分析
- リンク
- [Wikipedia](https://ja.wikipedia.org/wiki/主成分分析)
- [Qiita](https://qiita.com/NoriakiOshita/items/460247bb57c22973a5f0)
#### 線形結合
#### 非線形
- 読み方
- ひせんけい
- 説明
- 滑らかにつながっていない。
- 傾きが求められない場所がある。
- グラフにすると値が飛んだり、角がある。

#### 二乗和
- 読み方
- にじょうわ
- 説明
- 各点からのズレ具合(実際には平方根とらないとズレ＝距離ではない)
- そのまま足すと、マイナスのズレとプラスのズレが打ち消しあってしまうので、二乗してマイナスでもズレはズレとして加算する

## その他

#### お馴染みの
- 読み方
- おなじみの
- 説明
- 「機械学習などを触っている人には」という言葉が省略されている。
- 知らなくても焦る必要はない。
- 知らなかったらここに用語だけでも記載しておくと、後で誰かが説明を書きこんでくれるだろう。

#### リモート（Zoom）と神情協会議室の両方で開催
- 説明
- 毎回聞くのは、できればリアルに集まりたいから。
- 顔が見えないとわかっているのかいないのか、何とも判断しづらい。
- 分からないことはどんどん聞いてみよう。

# その他リンク
- [＠IT AI・機械学習の用語辞典](https://atmarkit.itmedia.co.jp/ait/subtop/features/di/spv/mlglossary_index.html)
- [Youtube 中学数学からはじめるAI(人工知能)のための数学入門](https://www.youtube.com/watch?v=7A05OamqCyc)
- [Youtube 【機械学習】深層学習(ディープラーニング)とは何か](https://www.youtube.com/watch?v=s5_Pk3CjhNA)

## 第一回のURL：
https://colab.research.google.com/drive/18DNf7VCgAK1YyikWlLSfqvNfijWhxpea

## 第二回のURL：
https://colab.research.google.com/drive/18quNR7fEovJx8QS0giMRIJb0NthhBB5u

## 第三回のURL：
https://colab.research.google.com/drive/1SIC9lt3IrN0RhLpEMjyWMLXY-DFFreUE

## 本家StableDiffusion v2(diffusers PyTorch版)を試してみたい方。
https://colab.research.google.com/drive/1GIKnjpc_HKG8CvZhEGCv_grWChZtUq2u
GPUの種類によってxformersのダウンロード元が異なりそう。
英語で入力する。日本語でも画像生成はされるが、意味は理解できていない模様。

- Kanagawa Information services industry Association
↓

- 神奈川県情報サービス産業協会
↓