---
title: 0106 深度學習
tags: 深度學習 , 筆記
---

白話解釋：
* [懂点深度学习：【白话】模型 - 云+社区 - 腾讯云](https://cloud.tencent.com/developer/article/1587410)

深度學習：
中文：先分詞 空白join
1.NLP語意（感受量化）64~300

圖：cnn->MLP
文：感受->MLP
(embedding)

## one-hot encoding
* [數據處理——One-Hot Encoding - IT閱讀](https://www.itread01.com/content/1501748526.html)
* [資料預處理：獨熱編碼（One-Hot Encoding）和 LabelEncoder標籤編碼 - IT閱讀](https://www.itread01.com/content/1544524226.html)

## 預處理
1. token辭典:0:不用padding+mask_zero:True（這樣embedding 0 padding才不會影響 ）
{",":1, "eat":2}
3. sequence:序列化(換成數字) padding
I eat dinner:1 2

特徵萃取 GAP:
globalaveragepoolimg1D

* [ml1216/embedding_gap.ipynb at main · Elwing-Chou/ml1216](https://github.com/Elwing-Chou/ml1216/blob/main/embedding_gap.ipynb)

* [ml1216/embedding.ipynb at main · Elwing-Chou/ml1216](https://github.com/Elwing-Chou/ml1216/blob/main/embedding.ipynb)

* [ml1216/transfer.ipynb at main · Elwing-Chou/ml1216](https://github.com/Elwing-Chou/ml1216/blob/main/transfer.ipynb)

* [ml1216/transfer_gap.ipynb at main · Elwing-Chou/ml1216](https://github.com/Elwing-Chou/ml1216/blob/main/transfer_gap.ipynb)

NLP
1. 感受 embedding
2. 時間順序：前面有了累積下來的序列

RNN（小型模型還可用 前面算完才會往後算 大型模型這個會訓練到老）
->不能做平行化
return_sequences=False(不斷累積到最後一個字)
return_sequences=True(每個位置的output都會回傳)

翻譯（有時間相關）
影片（有時間相關）
情緒分析 （沒有時間相關）

word2vec模型 線性分類 不是深度學習（克漏字，用前後文去判斷）
要加上Negative Sampling
sigmoid

1.問題：訓練時間
2.語意

深度學習 多層 非線性

語意
情緒
感受

word2vec：google的人推出的-negative sampling

FastText：(上下文語意：克漏字)解決word2vec的問題，後來他到FB工作
->解決OOV:out-of-vocabulary 沒有訓練到的單字（無法解訣問題 只能用猜測）
->OOV:（將字分割：ed )去猜沒訓練到的字意
I played very well
I /play /#play#ed /very /well

中文用字來label
英文用詞來label

* [Word vectors for 157 languages · fastText](https://fasttext.cc/docs/en/crawl-vectors.html)
（不要在本機端跑 在colab跑）

NLP模型函式庫：Gensim

---
相似度：
1. 距離（norm:向量長度相等）->0:同方向,max：反方向

2. 方向：
0: 1 像
90: 0
180: -1 相反

推薦：
單詞：景點
文章：行程

* [Python Exercises](https://www.w3schools.com/python/python_exercises.asp)

RNN:比較遠的東西 會經過迭代消失（記憶消失問題）
W 系數 Ｕ系數矩陣

Wa+Ub

LSTM（Long short-term memory）=記憶（長期）+RNN(短期)->增加ㄧ組線 把短期記憶加到短期記憶裡

---
RNN(短期記憶)
LSTM(短期記憶＋長期記憶)

---
## Attention 機制

感受
Encoder壓縮
解壓縮(decoder)

QKV
Query, key, value
Q:理想中的妹子？
20歲 、30歲、男生
80%   19%   1%
1   	2	3
Ans: 0.8*1+ 0.19*2+0.01*3`


key=Dense(v)

Attention機制來取代RNN
因為Attention機制 綜觀全局

Transformer=BERT(壓縮)分類+GPT(解壓說)產生

encoder內部
decoder外部

---

在transfer learning 時 偷來的模型要freeze
但是若偷來的是bert+clf(分類器)因為bert精度高 ㄧ定要fine tune

->解決方法：
adapter:
bert中間砍斷 加上小小參數 adapter讓他偏移過去 調整它

目標=原本+偏移量

----

時間序列RNN LSTM

---

Face(GPU)
face_recognition

找到人臉：
傳統HOG 邊緣 （打光太強就看不到邊緣
現代CNN Yolo （