# 深度學習簡介
## 工業4.0帶來的影響
提到智慧管理、智慧製造等，就不得不提到當初由德國提出的「工業4.0」。若說第三代工業的重點在於改良上一代以「大量生產」為主軸的產業分工、電力應用，進而實現自動化、電子化和高效生產的製造技術；那麼第四代工業就是將這些工業生產過程，更進一步透過：
* 網路物理系統Cyber Physical System
* 物聯網IoT
* 人工智慧AI
**· · ·**

來減少工業中的成本(如：生產成本、勞動人力成本、維護成本等)。這些科技的技術發展，強調數據的重要性，以輔助人類在生產過程中的效率與品質。例如，在工業3.0中電子革命帶來的便捷性、通訊功能，使得自動化的生產得以被實現，透過網路又能為企業進行電子商務、財務管理、交易等。而工業4.0就是在這些技術基礎上使用一些智慧技術（大數據、物聯網、機器學習等），協助生產過程中的數據分析及即時回饋，換句話說，如果上一個時代是讓機器長出自己的手，那工業4.0就是給機器一顆會自己思考的腦，讓它嘗試透過蒐集到的狀況、數據，做出合理判斷，甚至是能自主地解決一些問題。因此，這些也是為什麼智慧製造、智慧管理得以被討論的原因。[1]

在這裡不得不提到深度學習在工業4.0所扮演的角色啦🤗，不過在此之前！筆者還是要小小地介紹一下深度學習到底是什麼？

### AI(人工智慧)？機器學習？深度學習？GPT-4？
>筆者在上大學之前，對於科技只知道有神經網路、人工智慧、演算法諸如此類的名稱，但完全對它們不熟悉，甚至一度以為都是同一個東西——總之就是很厲害很難的程式之類的吧！現在看來我真的是菜鳥一隻very NAIVE;-)。不過能找出自己的盲點再不斷修正，才是學習的目標~所以，以下的一小節僅針對筆者不了解的專有名詞做整理。**若以下有誤，歡迎留言提點🙏謝謝**！

## **🖥人工智慧Artificial Intelligence(AI)**
在20世紀50年代時，人們讓電腦透過一些計算方法、邏輯及規則，期許能讓擁有「人的智慧」，這時期設計AI主要以「規則主導」，而最後結果沒有很成功。隨著記憶體、晶片的蓬勃發展、硬體設備成本降低，電腦的運算能力也逐漸變好，專家針對機器以什麼方式學習和理解知識有更多的研究機會，才逐步發展到現在的樣子。用ChatGPT這AI技術自己的話來說就是：
>**人工智慧（AI）是指通過計算機系統模擬和模仿人類智能的能力。** 簡單來說，AI是一個廣泛的領域，旨在使計算機具有類似於人類的思維、學習、問題解決和決策能力。 [color=#586D80]
>[name=Chat GPT]

## **🤖機器學習Machine Learning(ML)**
機器學習是AI的子集，它主要是為了解決某個特定的(具線性結果的)問題而設計出來的。**ML透過統計技術從過去所觀察的結果特徵**，再進一步對未來相似的情況做行動。這個學習過程，仍需仰賴ML設計者餵給機器的資訊。例如，若要讓機器判斷右邊的卡戴珊姐妹照中誰是Kylie？誰是Kim？設計者需要提前將這兩個人的特徵告訴機器，讓它先學習什麼是「臉比較寬」，再讓機器依著分析完的圖像值，進行分類。
🔼粉色框框中為設計者提供的人物對應的臉部特徵表，經由ML的Classification，即得出結論是「左邊為Kylie」。

## 小小體驗Teachable Machine
以下是筆者大一通識課中玩的機器學習網站，它是由Google開發的AI實驗：
>**Teachable Machine：** https://teachablemachine.withgoogle.com/ [color=#586D80]

這個網站的操作界面平易近人且教學完整，基本上就是在class中增加樣本圖像(盡量選可以畫面只有樣本主題的)，你可以為這個class命名，接著根據想分辨的多寡重複增加class。
🔺100%的Kylie!

🔺只有83%的Kim Kardashian（可能餵的圖片挑得不好，不然就是訓練參數調整不足）

>Picture Source: [Kylie Jenner](https://www.cosmopolitan.com/style-beauty/beauty/a19604309/kylie-jenner-blonde-hair-post-baby-makeover/), [Kim Kardashian](https://www.cosmopolitan.com/entertainment/celebs/a39934298/kim-kardashian-platinum-blonde-met-gala-hair-full-look/) and [Kylie and Kim](https://economictimes.indiatimes.com/magazines/panache/kylie-jenner-kim-kardashian-instagrams-two-biggest-stars-urge-meta-owned-app-to-stop-trying-to-be-like-tiktok-could-this-create-trouble/articleshow/93134098.cms?from=mdr)

## **:brain:深度學習Deep Learning(DL)**
深度學習則是機器學習的子集，其訓練模型以深度神經網路為主，機器可以透過大量的數據輸入，自行提取特徵再建立標籤以分類解決問題。DL的應用多為影像辨識、語音辨識、自然語言處理等。

以下參考***Machine Learning vs. Deep Learning: The Ultimate Comparison***, https://www.iteratorshq.com/blog/machine-learning-vs-deep-learning-the-ultimate-comparison/ 所整理出來的建議比對表。
| 深度學習 | 機器學習 |
| ---------------------------------------------------------- | ------------------------------------------------------------ |
| 訓練時間較短 | 訓練時間較長 |
| 創建類神經網路來學習，並根據它自身的演算法做出具智慧的判斷 | 針對輸入資料進行分析與學習，並對它所學的內容進行有根據的判斷 |
| 訓練時對GPU有一定的硬體規格要求 | 在CPU上訓練 |

## **💬GPT，欸？**
【放「欸?」的chatgpt】
講到最熟悉的深度學習應用，應該非ChatGPT莫屬，它的誕生對筆者等同儕學生們來說，非常開心！它不僅打破了過去較死板的聊天機器人的對話模式，而且在資料蒐集與整合上也非常強大。不過，ChatGPT只是GPT模型的應用之一，其它有名的應用還有Dall-E(一種付費的文字轉圖片的AI應用網站)。

這些應用都是出於OpenAI的GPT模型所訓練出來的，Generative Pre-trained Transformer(GPT)照著英文名稱直翻就是「生成式預訓練轉換器」（看起來有點難懂😅），可以理解成「用預先訓練的模型來生成的轉換器」。從GPT的歷史演變或許比較好理解這樣的概念：
* 首先，得從Transformer這個神經網路架構說起，<font color=" #9297AB">(本章節的重點不是NLP，所以僅短短介紹而已> <)</font>，這種模型有別於過去傳統LSTM(長短期記憶模型)單向且依序的語言處理方式，Transformer有更快速且同步處理的好處，更重要的是模型的訓練會讓它嘗試去學習「什麼是語言？」；像是從小我們學英文會從單字學，當老師教```蘋果is Apple```的時候，也會一定會一起教```橘子is Orange```……然後逐漸地，我們開始學習基礎文法，而且老師教```This is an apple```的話，也會跟著教```That is an orange```。現在，只是把這樣的學習模式轉換成電腦能理解的模式來訓練。

見下圖，當我想翻譯This is good的時候，因為Transformer有Encoder編碼層與Decoder解碼層的區分：

1.在處理時機器會先從英文的```This``` ```is``` ```good```這三個單字做編碼處理（如果詞義越相近的，它們的編碼矩陣值也會更接近），而透過[Multi-Head Self-Attention的機制](https://andy6804tw.github.io/2021/05/03/ntu-multi-head-self-attention/)，模型得以同時以不同的組合裡關注這些輸入並對這些組合評分，以觀察組合中的規律、學習這其中的關係，接著針對這些結果進行權重調整。➡這是第一步：學習什麼是This is good.

2.編碼接著進入到Decoder，讓句子從頭(在文法上)有順序的產生輸出。像是第一個單字"This"會得到輸出「這」，而「這」後面可以搭配的內容可能會組成「這個」、「這是」、「這些」· · ·但隨著下一個輸入"is"進來，「這」與"is"的直翻結果「是」就有了相關聯，最後得出「這是」，於是重複這樣的動作，最後就可以得出「這是好的。」的結果了:D➡這是第二步：學習英文單字是如何對應到中文句子。
🔺Transformer的建議模型示意圖
>截圖來源：***BERT Neural Network - EXPLAINED!*** by CodeEmporium, https://youtu.be/xI0HHN5XKDo?si=RMHRX7QkDMOXkkL3
它淺顯易懂地介紹了編碼器BERT，影片蠻短的，強烈推薦🤩另外也有一篇文章可以參考**Jay Alammar(2021).*The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning)*** http://jalammar.github.io/illustrated-bert/

而GPT就是基於以上Trasformer架構中的Decoder，作為一種可生成與人類語言相似口吻的深度學習自然語言處理模型。（而BRENT作為Encorder雖然在當時也有重大突破，不過它沒辦法生成文字。）[2]

1. GPT-1
2. GPT-2
3. GPT-3
4.
🔺***用AI Image Generator網站***, https://deepai.org/machine-learning-model/text2img 進行文字輸入：「一個主修工程的大三女同學，穿著她漂亮的衣服在圖書館桌前寫文章」的圖片結果。(Dell-E生成圖要錢，這個不用🤪)
## 參考來源：
[1] Jayant Chaudhari(2021, Mar 15).*Industrial Revolution From Industry 1.0 to 4.0- A History.* Medium.https://jayantchaudhari.medium.com/industry-1-0-to-4-0-a-history-3f3845d67cec
[2]SimonLiu(2023, Feb 7).*淺談 GPT 生成式語言模型(1) — 過去*.Medium.https://blog.infuseai.io/gpt-model-past-introduction-1e2558462e41