# AIGO線上培力課程影片學習 ## 影片1:Python基礎-流程圖與選擇結構 ![image](https://hackmd.io/_uploads/r1yWMdYi0.png) **影片網址**:https://www.youtube.com/watch?v=ENX_TCGp1L8 :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 1.設計流程圖目的:為了輔助程式設計 2.流程圖常見符號: ![image](https://hackmd.io/_uploads/BJcdk2a8C.png) 3.演算法特性:要包含(1)輸入input (2)輸出output (3)明確性definiteness (4)有效性effectiveness 4.演算法三種控制流程結構--(1)循環結構 (2)選擇結構 (3)重複結構 5.if ![image](https://hackmd.io/_uploads/rymM98AIA.png) 6.巢狀if![image](https://hackmd.io/_uploads/Skj3j8CUR.png) ![image](https://hackmd.io/_uploads/Byqk2LCLC.png) 7.python輸出小技巧: 若a為變數想在中間輸出--print('答案為%d'%(a)) ::: *** ## 影片2:Python基礎-運算子與運算式 ![image](https://hackmd.io/_uploads/BkspMuYjC.png) **影片網址**https://www.youtube.com/watch?v=-1MMVAPzApU :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 算數運算子進行的是數值計算類的運算,其得出的結果會是另外一個數值。 Python 中原生的算數運算子有以下這些: * 加法: `a + b` * 減法: `a - b` * 乘法: `a * b` * 實數除法: `a / b` (結果為浮點數) * 整數除法: `a // b` (只取商數) * 模除法: `a % b` (只取餘數) * 取次方: `a ** b` * 取正號: `+a` * 取負號: `-a` 比較運算子進行的是大小比較的運算,其得出的結果會是一個布林值,表示這個大小關係是否成立。 Python 中原生的關係運算子有以下這些: * 小於: `a < b` * 小於等於: `a <= b` * 等於: `a == b` * 不等於: `a != b` * 大於等於: `a >= b` * 大於: `a > b` <!-- [`==` 和 `is` 的差別](https://clay-atlas.com/blog/2020/08/04/python-cn-equal-is-difference/) --> 所有資料在電腦當中都是以二進制的形式儲存的,在某些時候,我們會需要直接操作到這些組成資料的位元,以位元為單位進行運算。在這種時候,我們就會需要用到位元運算子。 Python 中原生的位元運算子有以下這些: * 位元且: `a & b` * 位元或: `a | b` * 位元互斥或: `a ^ b` * 位元否: `~a` * 左位移: `a << b` * 右位移: `a >> b` ::: :::warning 下列何者對於print( )函式的「%8.2f」格式碼描述有誤? (A)輸出8個字元 (B)小數點算1個字元 (C)小數部分固定2個字元 (D)整數部分為6個字元 ::: >8 表示輸出的總寬度為 8 個字元,包括小數點、整數部分和小數部分 .2 表示輸出的小數部分固定為 2 個字元 f 表示以浮點數格式輸出 *** ## 影片3:設計思考入門 ![image](https://hackmd.io/_uploads/S1rK7OKi0.png) **影片網址**:https://www.youtube.com/watch?v=IiVjMsY6kRo :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 1. 為什麼需要設計思考: * 遇到一個問題,沒有現成解決方案 * 想買一種產品解決生活需要,卻遍尋不到 適用的 * 曾經想過「如果有一個,那就太方便/太棒了」 2. 設計思考關鍵原則 * 人本原則:將人放在第一位,確定不同人們的背景與想法 * 模糊原則:創新的過程接受某種程度的不確定 * 重新設計原則:世界上沒有東西皆一成不變的,所有事物皆可被推翻 * 可視化原則:將想法概念具體化 3. 設計思考五原則 * Empathy同理 `鎖定目標` :鎖定一個對象 找一個場景 打一個痛點 解決一個問題 創造一種價值 >![image](https://hackmd.io/_uploads/B1dMIY0L0.png) >Empathize問題集舉例: 1.這個人是誰?(姓名、年齡、學校年級、職業) 2.他們居住在哪裡?(城市、鄉村、郊區) 3.他們的日常生活是怎樣的?(工作/學習、休閒 活動、社交生活) 4.他們的家庭環境如何?(家庭成員、如何互動) 5.他們有哪些興趣愛好? 6.他們面臨的主要挑戰是什麼?(學習或工作中) 7.他們的學習/工作風格為何?(視覺、聽覺、操作) 8.他們曾使用哪些科技產品或服務?(手機、應用程 式、社交媒體) 9.他們的健康狀況如何? 10.他們的價值觀或信念為何? 11.他們的未來規劃有哪些?(大學、職業目標) 12.他們的財務狀況或購買力如何? 13.他們在找何類型的產品/服務來改善生活或學習? 14.他們對於新技術或產品的接受程度如何? 15.他們希望通過產品或服務解決哪些具體問題? * Define定義 >撰寫Persona人物誌要點:**be SMART目標設定原則**: **Specific**----明確、可想像、有畫面 **Measurable**--可衡量、最好有數字 **Attainable**--可實現、有具體合理行動 **Relevant**----與主題相關、能產生連結 **Time-based**--有時限,有可能完成 >**HMW**(How might we)開頭設計問句,了解用戶問題 * Ideate發想解方 >**步驟** >Step 1:把所有可能的想法都寫下來 不追求精細,量更重要 Step 2:把同類的想法貼在一起 進行歸納整理,找出脈絡 Step 3:不要放棄某些想法 >**Brainstorming互動原則** >1.不批判 >2.多發想 >3.多聯想 4.不離題 5.輪流說 6.秀出來 7.多是好 >![image](https://hackmd.io/_uploads/BkncJcAUR.png) >**SCAMPER工具**:讓思考更有脈絡 * Prototype原型 >**Storytelling故事版**:規劃演示用戶如何與產品互動,包括用戶的行為、產品反應和用戶的感受。這有助於團隊理解產品的使用流程和關鍵互動點。 * Test測試 >三種驗證法 >![image](https://hackmd.io/_uploads/S1_SbcCL0.png) > :::warning :warning:**發想注意事項** 1.接受過程中的不確定性 2.不斷反思,鼓勵團隊彼此激盪 3.重視原型和測試,擁抱迭代 ::: *** ## 影片4:AI倫理-全產業面面觀 ![image](https://hackmd.io/_uploads/H1dUEuFs0.png) **影片連結**:https://www.youtube.com/watch?v=yc6DdXa3EWI :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 1. Code interpreter使用注意:須具備足夠下prompt能力 2. 生成式AI ![image](https://hackmd.io/_uploads/ry4aejAUR.png) 3. 資料的運算量與算力的需求量大幅增加 ![image](https://hackmd.io/_uploads/rJ9fWsRU0.png) 4. 生成式預訓練 ![image](https://hackmd.io/_uploads/SJe8-o0LR.png) 5. 垂直領域專用模型增加 ![image](https://hackmd.io/_uploads/H1hEfoC8A.png) 6. RNN循環神經網路+LSTM長短期記憶模型 ![image](https://hackmd.io/_uploads/HJTuziAIR.png) :exclamation:**忘記機制**:忽略不重要的資料 7. Seq2Seq模型+Transformer ![image](https://hackmd.io/_uploads/S1dvXoCU0.png) :exclamation:**注意力機制**:增加加權相關比重 :exclamation:**自注意力機制**:增加資料的平行運算 8. Chatgpt額外的訓練技術,增加獎勵模型與RLHF人類反饋增強式學習 ![image](https://hackmd.io/_uploads/S1N1Li0IA.png) 9. 多模態基礎模型:同時處理文字、圖片、語音 ![image](https://hackmd.io/_uploads/rk7q8oAIR.png) 10. GAN生成對抗網路 ![image](https://hackmd.io/_uploads/rki6Lo08A.png) 11. 圖像模型發展歷程 ![image](https://hackmd.io/_uploads/SJ2Zvo0LR.png) :exclamation:擴散模型相較生成對抗網路具有難度較低、訓練速度較快、圖片失真度低的優勢 12. Clip圖像模型原理:同時結合圖片、文字(實現多模態技術) ![image](https://hackmd.io/_uploads/HJ4jvi0UA.png) 13. 多模態圖像成為模型基本配備 ![image](https://hackmd.io/_uploads/Sy9uuoCUC.png) 14. Microsoft VS Google的AI布局 ![image](https://hackmd.io/_uploads/ryPutoAIC.png) 15. AWS VS NVIDIA的AI布局(皆著重雲端) ![image](https://hackmd.io/_uploads/B1XCKj0UC.png) 16. Hugging Face:AI開源軟件的社群 17. OpenAI公司介紹 ![image](https://hackmd.io/_uploads/rk2j9sA80.png) * 非營利-->營利 / 開源---->非開源 18. Anthropic公司介紹 ![image](https://hackmd.io/_uploads/BkKM3s0UA.png) * 注重AI倫理道德 ![image](https://hackmd.io/_uploads/r1NRjjRIR.png) * Claude AI聊天機器人採用的核心技術:AI憲法CAI ![image](https://hackmd.io/_uploads/ryxF3iAIR.png) 19. AI帶來的危機 * 資訊正確性 * 道德與法律的界線 * 資訊落差 * 8大風險 ![image](https://hackmd.io/_uploads/Bk5E6jAI0.png) 20. AI監管政策與不同國家施行的差異 ![image](https://hackmd.io/_uploads/S1zq6j08C.png) ![image](https://hackmd.io/_uploads/rkb6psC8C.png) ![image](https://hackmd.io/_uploads/ry3H0i0IA.png) :exclamation:**可解釋性技術**:有個運作邏輯,讓AI答覆錯誤時,能夠知道哪個環節錯誤 21. Naunce ![image](https://hackmd.io/_uploads/HJadb2CLC.png) ::: ## 影片5(含9部影片): 113-教育部國教署微課程-隨機森林 ![image](https://hackmd.io/_uploads/HkTcEdYiC.png) **影片連結**:https://www.youtube.com/watch?v=uELYnxqiwUA :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 1. 機器學習:達到人工智慧的方式,且學習的方式是透過一筆一筆的資料得到函數的參數 ![image](https://hackmd.io/_uploads/BJR9020UC.png) 2. 樣本Instance:機器學習的資料,線性學習往往以(x,y)成對表示 3. 應變數/應變量 Dependent Variable: 就是y在統計學的說明 4. 自變數/自變量 Independent Variable: 就是x在統計學的說明 5. 類別Class/標籤Lable: y在機器學習中分類問題被稱為的名字 6. 特徵Feature:x在機器學習中分類問題被稱為的名字 7. 模型Modle:函式 8. 訓練Train:決定模型裡的函數過程 9. 決策樹Decision Tree:隨機森林的主要樹狀節構 ![image](https://hackmd.io/_uploads/S1ii6nC8A.png) 10. 走訪Tree Traversal:隨著決策樹架構尋找資料的過程,以下舉例一個決策樹 ![image](https://hackmd.io/_uploads/B194RhAL0.png) 11. 水平組合模型:把多個特徵依序傳入各個機器 12. 垂直組合模型:把第一個模型的答案當第二個的.... 13. 集成學習/整體學習Ensemble learning:確保最後的複合模型會比單一的子模型好 * **裝袋法Bagging(Bootstrap+Aggregating)**: 可以想像成投票,對樣本進行抽樣 * **Bootstrap**: 產生多個模型的一種方式,不假他人之手的取樣方法,不斷抽樣、標示,重新放回去,產生抽樣資料集 * **Sampling With Replacement**:如上Bootstrap的"重新放回去"步驟 >總結: >給訂有N個樣本的資料集,想訓練有m個子模型構成的集成學習模型 >1. 將N個樣本的資料集重複抽樣N次產生一個抽樣資料集 >2. 用此抽樣資料集訓練第一個機器學習的子模型 ,執行這個步驟m次 >3. 如此會有m個抽樣資料集,以及產生對應的m個機器學習子模型 >4. 要預測時,將x向量傳入每個子模型,產生y1一直到ym,投票得到結果 >![image](https://hackmd.io/_uploads/SJ6e_pAIR.png) * **提升法Boosting**:每個模型用來補足前幾個的弱點 * **自適應提升法Adaptive Boosting/Ada boost**:透過調整權重的提升法 ex:把第一個模型增加一倍,再把資料重新給第二個模型,讓第二個模型更專注於第一次的錯誤 * **梯度提升法Gradient Boosting/GBDT** * **堆疊法Stacking**:換掉組合,沒投票步驟 >總結: >給訂一個有答案的訓練樣本集,每一個樣本集的其中一個樣本都是像量 >![image](https://hackmd.io/_uploads/rJlf40CIA.png) >1. 將x,y如此的pair用來訓練第一個子模型,假如輸出有m個,輸出便是y1到ym >2. 再把剛剛的y1到ym丟到第二層的子模型,可以再隨便假設c個 >且通常Stacking做到第二層即可 >![image](https://hackmd.io/_uploads/SJ6e_pAIR.png) 14. 隨機森林Random Forest: 把裝袋法演算法套用在決策樹上的一種集成學習,但還會對"特徵集"進行抽樣(與裝袋法不同,裝袋法只針對樣本進行取樣) >若子模型都過於相似,會破壞集成學習的目的,因此**新增f變數表示幾個特徵**,增加子決策樹的差異性 >總結: >給訂有N個樣本的資料集,每個樣本有f個特徵,想訓練一個有m棵決策樹的隨機森林 >1. 重複抽樣N次,產生一個抽樣資料集 >2. 再用這個抽樣資料集訓練一棵決策樹 >3. 在特徵上在做一次隨機取樣,從中間中找出最佳分支 ![image](https://hackmd.io/_uploads/Bk9e2C08C.png) 15. 交叉驗證法Cross Validation:用來求集成模型子模型數量m個 16. 無數的分類方法..... ![image](https://hackmd.io/_uploads/Sy5DaRC8A.png) ::: ## 影片6:AI音樂專題應用 ![image](https://hackmd.io/_uploads/HJ58Buti0.png) **影片網址**:https://www.youtube.com/watch?v=F-I1DRRCmjo :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 1. 文字轉語音TTS(Text-to-Speech): 將文字轉換為聽起來自然的口語文字。 Open Al 提供兩種不同的模型版本,tts-1針對即時文字到語音用例行最佳化,tts-1-hd 對品質最佳化。 2. 文字轉語音的工具: * TTS MAker * My Edit 3. 生成音樂的工具使用: * Suno * Stability Audio 4. 生成歌詞的工具使用:GPT > • 請 ChatGPT 或 Gemini 產生歌詞 >•請幫我寫一首關於__的歌詞,要有以下片段: >[主歌] [副歌] [橋段] [尾聲] >(A):主題,也叫主歌,如果主歌有兩個部分,就分別稱這兩部分為A1、A2; (B):副歌,也就是我們通常說的高潮部分; 注意,我們一開始練習寫的時候,可以寫結構簡單一點的歌,主要用到上面這兩個部分就可以了。 >(C ):過度句(插句) >(D):流行句(記憶點) >(E):橋段(序唱,過門,間奏)和結尾 5. 音樂生成影片工具: * Noisee AI 6. 文字生成影片工具: * Vrew:Bloom 語言模型進行語音辨認,翻譯產生多國語言字幕 ![image](https://hackmd.io/_uploads/H1pcuyJDR.png) ::: ## 影片7(2集):AIGO高中職生-人工智慧概論(一) ![image](https://hackmd.io/_uploads/rJce8dYoR.png) **影片網址**:https://www.youtube.com/watch?v=ZE_dpug3gzY :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 1. 機器學習前步驟--資料前處理: * 缺項補植處理 * 濾波處理 * 常見時域濾波法:  * 低通、高通、帶通、移動平均等  * 常見頻域或相異域濾波法:拉式轉換、傅立葉轉換等 * 離散值處理 ![image](https://hackmd.io/_uploads/B19ETbxv0.png) * 正規化處理 * 特徵值萃取處理:    * 領域知識易介入時,數據呈指標處理    * 領域知識不易介入時,自動編碼器(Auto Encoder)、主成分分析法(PCA)或自組織映射矩陣(SOM) 2. 類神經網路ANN/Artificial Neural Network: 電腦類比人類神經細胞,各個神經運算單元之間的連線會搭配不同權重(weight),各自執行不同任務,就像神經元動作時的電位一樣。 3. 訓練到最佳精度或最小loss值即可停止,不能過度擬和 :exclamation: 每次的訊號接受不一定都會有訊號傳送 ![image](https://hackmd.io/_uploads/Sk7xu-lPC.png) ![image](https://hackmd.io/_uploads/rk9v_WxwA.png) 4. 分為輸入層 隱藏層 輸出層 ![image](https://hackmd.io/_uploads/H1ldkzgP0.png) * 輸入層:萃取數據中與結果有高相關性的資料作為輸入資料,這些數據相對決定輸入端神經元的數量 * 隱藏層:神經元之間有著不同強度的相關性,在隱藏層中會透過數學式去更新每個神經元的權重以及偏移量 * 輸出層:輸出系統處理的結果 5. 常見類神經網路架構 * **多層感知機 (Multilayer perceptron, MLP)**:是一種前向傳遞類神經網路 至少包含三層結構(輸入層、隱藏層和輸出層),利用「倒傳遞」的技術達到學習(model learning)的監督式學習 ![image](https://hackmd.io/_uploads/SkwPeGeD0.png) * **卷積神經網路(Convolutional neural network, CNN)**:包含卷積部份、池化部份(Pooling)、平坦化部分(Flatten)與全連接層部份,「卷積」為其特徵擷取的方法,此部份必須靠大量資料的特性不斷的反覆學習,在學習中盡可能滿足設立的條件,達到目標 ex:工廠透過看二維圖像判斷哪個商品有缺漏 ![image](https://hackmd.io/_uploads/Hk7AxfxvR.png) * **支持向量機(Support vector machine, SVM)**:是監督式學習方法,用統計風險最小化估計一個分類超平面(hyperplane)。以一個決策邊界(decision boundary)讓兩類之間的邊界(margins)最大化,使其可以完美區隔開來。 ![image](https://hackmd.io/_uploads/HkOH-MgwA.png) * **遞迴式神經網路(Recurrent neural networks, RNN)**:時間相關問題,就是當下的答案會受過去的答案影響,而且也會影響未來的答案的一種特殊情況。也可以說是次序相關問題。只要答案具時間相關性,即為時間相關問題,能用RNN來解決。:exclamation:mlp會摒棄時間因素 ::: ## 影片8(2集):AIGO高中職生-人工智慧概論(二) **影片網址**:https://www.youtube.com/watch?v=_8PtswErzZI ![image](https://hackmd.io/_uploads/H1qSIdFiC.png) :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 1. 智慧城市應用: * 智能化平台建設 * 智能資源監控 * 智慧交通 * 智慧城市 2. 資訊科技領域 ![image](https://hackmd.io/_uploads/S1A4RJ1wC.png) 3. 資訊科學方法論 ![image](https://hackmd.io/_uploads/HJnwRJJvR.png) * 問題:問對關鍵問題 * 找到對應數據:針對問題,找到相關數據指標 * 蒐集與儲存數據:根據不同數據的屬性 * 預先處理資料:讓AI讀懂A到B,格式統一 * 採用模型:以下舉例溫度 ![image](https://hackmd.io/_uploads/BkVskeJDR.png) * 驗證模型:使用科學工具 * 驗證模型 ![image](https://hackmd.io/_uploads/SkaAJlkPC.png) * 產出結果:依據分析,模型結果產出相關資訊 ![image](https://hackmd.io/_uploads/SyRmlx1w0.png) 4. AI情感分析 * Step 1. 蒐集/彙整文本 * Step 2. 文本清理 :exclamation:AI會把不同符號當成判斷依據,所以需要把`,`符號(無效符號、停用字)去除 * Step 3. Al 模型訓練 * Step 4. 模型驗證/測試 5.自然語言處理 NLP :機器自動處理資料,分析訊息中的意圖或情緒,並即時回應人類通訊。 * 語音生成 * 語音識別 * 語言生成 ::: ## 影片9(4集):113-AIGO-影像分析 ![image](https://hackmd.io/_uploads/rkxnLOFi0.png) **影片網址**:https://aigo-senior.org.tw/zh-tw/Learn/150 :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 1. 機器學習:實現人工智慧的一種技術,大量資料中不斷學習、測試、修正,找出規律(函式)進而預測未知資料的方法與技術 ![image](https://hackmd.io/_uploads/SJacSIWPA.png) 2. 特徵擷取(Feature Extraction):從影像中尋找「關鍵點」,擷取關鍵特徵。常見的特徵包括邊緣(使用Sobel或Canny邊緣檢測器),角點(如Harris角點檢測器)。 3. 機器學習分類器:特徵被擷取出來後,就可以用傳統的機器學習演算法,訓練支持向量機(SVM)、決策樹、隨機森林等AI模型來對影像分類。 4. 影像監督式學習 * 模型訓練階段:先讓AI模型看過大量的圖片,每張圖片都有標籤(Label) * 模型推論階段:給一張新的圖片,讓AI模型預測 5. 深度學習運作步驟 ![image](https://hackmd.io/_uploads/SkChKIbwC.png) 6. ImageNet 大規模視覺辨識挑戰(ILSVRC影像辨識挑戰賽):推動影像辨識 * Alexnet:經典卷積神經網路架構 ![image](https://hackmd.io/_uploads/HkjWiU-PC.png) 7. A Neural Network Playground:網站可以體驗神經網路中激活函數作用 https://reurl.cc/XGnQde 8. 卷積神經網路CNN ![image](https://hackmd.io/_uploads/SkV_h8bDC.png) ![image](https://hackmd.io/_uploads/SJ8c2I-vC.png) * 透過卷積層擷取影像特徵![image](https://hackmd.io/_uploads/H1UW6LbPA.png) * 透過Filter濾波器 ex:中值濾波器使圖片平滑,索伯濾波器使輪廓明顯,銳化(中間值最大) * 二維卷積的舉例計算![image](https://hackmd.io/_uploads/ByqKTLZDC.png) * Image Kernel感受卷積核 https://setosa.io/ev/image-kernels/ ![image](https://hackmd.io/_uploads/BkixJD-D0.png) * 兩個運用CNN的模型 * Google 的 MobileNet V2 模型:讓神經元連結變少,可放到行動裝置且能結合線上模型訓練平台-Teachable machine ![image](https://hackmd.io/_uploads/BkENkDbPA.png) * YOLO模型:物件偵測,邊緣運算 9. pixel:圖片中醫小格一小格色塊 10. 電腦了解養項方式 * **灰階影像表示** :以特定數值表達圖片亮暗程度 ![image](https://hackmd.io/_uploads/H1zclP-D0.png) * **彩色影像**:紅色(R)、綠色(G)、藍色(B)三種基本顏色的明暗程度疊加 ![image](https://hackmd.io/_uploads/ByIWbDbwR.png) 11. 影像格式 * BMP (.bmp):支援1位元到24位元的色彩,BMP檔不會經過壓縮,所以檔案較大 * JPEG(.jpg):支援24位元的色彩,JPEG檔會經過壓縮,所以檔案較小 * GIF(.gif):可儲存多重影像,製作出動畫的效果,可攜式網路圖形,支援24位元的色彩及透明度 * PNG(.png):使用的是非破壞性壓縮,所以影像較不會失真,但檔案通常會比JPEG大 12. 影像處理技術 * 平移![image](https://hackmd.io/_uploads/BymmMvbDC.png) * 旋轉 ![image](https://hackmd.io/_uploads/B1sLfwWvR.png) * 翻轉 * 仿射:圖片看起來有傾斜 13. AI影像分析利用 * 影像分類/分群 * 場景理解 * 光學字元辨識OCR: ex:停車場車牌自動辨識 ![image](https://hackmd.io/_uploads/rJu_XDWvR.png) * 影像生成 * 影像修復 14. 深度學習技術自動學習物件特徵、形狀步驟: * 標注影像資料:收集圖像和標籤數據,將每張影像中的物件標記為特定的類別 * 訓練AI模型:使用深度學習算法,例如卷積神經網絡(CNN) * 物體偵測:使用訓練好的模型對新圖像進行物件偵測 15. 影像分割 * 語義分割(Semantic Segmentation):對影像中的每個像素打上分類、標籤 * 實例分割(Instance Segmentation):`目標檢測`和`語義分割`的結合,先在影像中將目標檢測出來`目標檢測`,然後對每個像素打上標籤`語義分割` 16. MediaPipe Studio:體驗電腦視覺任務 17. Roboflow平台(物件偵測與影像生成實作):記得保留一些圖像做考試 >* 資料增強技術 >* 影像資料處理:對圖片作尺寸變更 >* 資料擴增:對亮暗、傾斜程度更改 >![image](https://hackmd.io/_uploads/By1MuwZv0.png) 18. 主流影像生成平台: * Midjourney:效果最好 * Dall.E(OpenAI):可透過Bing Image Creator或Microsoft Copilot免費實作 * Bing Image Creator * Microsoft Copilot * Stable Diffusion(開源) * Playground AI ![image](https://hackmd.io/_uploads/SJOY5D-DA.png) 19. 生成影像模型的Prompt提示詞 * 一般提示詞的寫法,使用「人、事、時、地、物」 * 更好的提示詞寫法,使用「形容詞+名詞+動詞+樣式」 * 盡量英文 20. 進階影像訓練工具 * TAO![image](https://hackmd.io/_uploads/ryLUjvbvA.png) * 學習教材 ![image](https://hackmd.io/_uploads/SJpDjv-vR.png) 21. Teachable machine(影像分類實作):Google所推出的無程式碼機器學習平台 (No Code) * 訓練過程中若開鏡頭,記得搖晃以訓練 * 輸出最後按`upload my model`,會直接生成網站 ![image](https://hackmd.io/_uploads/SyqKawbDC.png) * 自行準備影像資料的實作步驟 >1. 資料收集:使用AIX智能下載器 >2. 資料上傳:人物要清晰不雜亂 >3. 訓練模型:進行深度學習 >4. 預測推論 >5. 評估分析 >6. 參數調校 再訓練 >7. 匯出網頁:匯出模型並取得辨識模型,下載模型檔 >8. 報告分享 >:::warning >:warning: **超參數** >* Epochs 回合數 :exclamation:非越多越好 >* Batch Size 批量大小: 每一批次訓練的影像樣本數量 >* Learning Rate 學習率 >![image](https://hackmd.io/_uploads/HkEtvuZwC.png) >::: * Accuracy per class每一類別的準確率: ![image](https://hackmd.io/_uploads/rJdbO_bvR.png) >:::info >:book: 註解 >Class(類別) >Accuracy(正確率) >Samples(樣本數) >::: * 混淆矩陣Confusion Matrix ![image](https://hackmd.io/_uploads/rkR9dO-DC.png) 透過水平與垂直軸可以看出`?`被混淆成`?` ::: * 分類準確率 ![image](https://hackmd.io/_uploads/r1_P5_-DC.png) ## 影片10(4集):113-AIGO-AIGC應用 ![image](https://hackmd.io/_uploads/ByxwWv_FoC.png) **影片網址**:https://www.youtube.com/watch?v=_VNK31DbOAA :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 1. Copilot * 介面操作:文本對話、以文生圖、其他主題.... ![image](https://hackmd.io/_uploads/rkdr3jGPA.png) ![image](https://hackmd.io/_uploads/r1ZuhsfvC.png) ![image](https://hackmd.io/_uploads/SkjY2jfv0.png) * 文字對話Prompt技巧 * 清晰明確的問題 * 使用舉例提示 * 選擇性的情緒或語氣 * 提供有邏輯性的上下文對話過程 * 使用Markdown條列式格式 * 以文生圖Prompt技巧 * 明確且具體 * 情感和氛圍 * 色彩和光線 * 細節層次 * 視角和構圖 2. 政府開放資料平台https://data.gov.tw/ * 內容架構 * 資料搜集:紙本資料、電子檔資料、 感測器資料 * 資料應用:整合式服務、主動式服務、 新科技服務 * 高應用價值主題:氣候環境、災害防救、交通運輸、 健康醫療、能源管理、社會救助 * 開放資料:動態API、開放各檔案格式、 機器可讀 * 標準化資料:資料清理、資料整合、 資料轉化 ![image](https://hackmd.io/_uploads/SJ0WZhzwR.png) * 下載後可上傳至`Chatgpt`做資料可視化 3. 統計分析基本概念 * 數據理解和準備 * 抽樣與誤差理解 * 統計假設與測試方法選擇 * 結果的顯著性與多重比較問題 * 數據可視化與解釋 * 統計與實際重要性的區別 4. 影像辨識 * 影像深度學習![image](https://hackmd.io/_uploads/rJTfEnfPC.png) * 卷積神經網路CNN * 卷積層:特徵學習、局部感知 * 激活層:非線性引入 * 池化層:特徵降維 * 全連接層:決策學習 ![image](https://hackmd.io/_uploads/rkyIV3GvR.png) * 一般梯度運算功能的影響 ![image](https://hackmd.io/_uploads/BJGJH3fwR.png) > **loss損失函數**:影像辨識是否明顯,越低接近0越好,類似空間中的曲面要找最低點 > **梯度**:類似斜率的概念 5. TensorFlow * 神經網路框架TensorFlow v.s PyTorch (Google v.s Meta) ![image](https://hackmd.io/_uploads/SkjaU2GDA.png) * 網站內教學資源(內有DeepDream) ![image](https://hackmd.io/_uploads/rJiQPnzwR.png) 6. DeepDream * 特點: * 特徵放大 * 層級效果 * 迭代過程(訓練):將loss值放大 * 模型解釋性 * 無需特定的預先訓練模型 * 怎麼控制作品風格 * 不同輸入圖像 * 不同預訓練模型 * 調整目標層 * 調整迭代次數 * 改變學習率 * 範例程式下載https://bit.ly/AIGO_2024_PROGRAM * **colab**上傳程式碼 *![image](https://hackmd.io/_uploads/rynDFhGDR.png) >* 範例內含多註解,直接下載上傳colab看! > * 更改模型: > ![image](https://hackmd.io/_uploads/ryvVP6fPC.png) > * 右:深層(細節) 左:表層(條) > ![image](https://hackmd.io/_uploads/Skqm_azDR.png) 7. 自然語言處理NLP * 處理範疇![image](https://hackmd.io/_uploads/HJSIl0GwC.png) * NLP應用 * 自動文本生成 * 文本摘要檢索 * 機器翻譯 * 語音識別 * 情感分析 * 問答系統 * 以文生圖關鍵流程![image](https://hackmd.io/_uploads/HJICx0fwC.png) 8. 大語言模型LLM * 如何生成 * 持續學習與更新 * 大規模數據集 * 先進的模型架構 * 細節優化和調整 * 有效的訓練策略 * 強大的計算資源 * LLM的挑戰 * 計算資源的需求 * 數據偏見和不公平性 * 模型透明度和可解釋性 * 隱私和安全問題 * 知識更新的挑戰 * 泛化能力和細微語義的捕捉 9. 生成對抗網路GAN * 架構![image](https://hackmd.io/_uploads/SkfwGAzDR.png) >直到判斷不出真偽 ![image](https://hackmd.io/_uploads/HJU1QRGDA.png) >**RNG**:亂數雜訊產生器 10. Stable diffusion實作https://bit.ly/AIGO_2024_PROGRAM * colab上傳 >* 因為奇異點(雜訊)不同,所以即使同程式碼,同關鍵詞,圖片生成還是會不一樣 >* `XLA`或者`float數字變小`可加速運算 ::: ## 影片11:本土化ChatGPT 最強選擇!聯發科技 達哥 Mediatek DaVinci 生成式AI平台 Localized ChatGPT ! DaVinci Generative AI Platform ![image](https://hackmd.io/_uploads/HkXhP_KiA.png) **影片網址**:https://www.youtube.com/watch?v=4lf96QjiW2M :::spoiler {state="open"} :pencil2:點擊展開筆記內容 :100: 1. Create prompt:每次都要輸入的東西可以先打好 2. 商店 * Prompt:可以重複使用高效率的提示範本,更好地和DaVinci溝通 * Assistants:可以下載其他開發者提供的Assistant,提升生產力並幫助你完成各式各樣的任務 * Plugin:可以下載其他開發者開發的Plugin,擴增 DaVinci 在某個功能上的能力 * DVC X library:資訊雲端共享平台,可以下載其他人分享的DVCx(達哥檔),節省资料上傳處理的時間 :::