Tu 2024/5/9 "Quality is never an accident; it is always the result of intelligent effort." - John Ruskin mael-balland-p1u0pMSweb0-unsplash ===專案連結=== 一、前言 我們學校每學期結束前會要求學生填教學問卷，簡單來說就是對課程的滿意度調查，雖然不是什麼難事，但系統會要求要填完問卷才能選下學期的課，所以每次都要花15-20分鐘以上來填，非常麻煩。 尤其是上個學期，因為課程規畫特殊，每一門課還要針對不同指導老師寫，總共按了57份問卷。為了避免腕隧道症候群，我在上學期時寫了一個簡單的Python腳本來幫我填問卷，而這學期我想把他包裝成大家都能使用的模式，並發佈到網路上，順便體驗一把從開發到發佈的完整流程。

Tu 2023/6/22 「Where there is no vision, there is no hope.」 - George Washington Carver ran-berkovich-kSLNVacFehs-unsplash (1) 一、前言 三個月前，我完成了三篇有關Diffusion Model實作的系列文章。本來預計如果有額外篇會拿來展示模型改進的成果或是有更好的運算能力下的訓練結果，但我最近突發奇想所以先寫一篇記錄著。 這篇的內容是有關模型改進的，如題，我把原本的U-Net換成了LinkNet。我起初根本不知道LinkNet是什麼，只是突然想到「如果把U-Net的Encoder換成pre-trained的ResNet50會怎樣」，一查才發現有這篇paper。

Tu 2023/3/27 一、前言 在前兩篇文章〈 Diffusion Model 論文研究與實作心得 Part.1 〉 前言與圖片雜訊前處理 和 〈 Diffusion Model 論文研究與實作心得 Part.2 〉 U-Net 模型架構介紹與實作中，我完成了資料前處理與模型的搭建。因此在Part.3(最終篇)就要來進行模型的訓練和結果呈現。 二、模型訓練 我們可以參考一下ddpm作者的sudo code，這樣對實作的步驟有很大的幫助。 我們的模型輸出是預測圖片的雜訊(對，不是修復後的圖)，拿去和加在上面的雜訊進行比較。所以get_loss函數應該有三個參數，X_0，timestep和model。

Tu 2023/2/14 一、前言 在上一篇文章〈 Diffusion Model 論文研究與實作心得 Part.1 〉 前言與圖片雜訊前處理中，我完成了對圖片加入雜訊的部分，因此接下來就輪到模型的拆解。 二、U-Net 模型簡介 圖片來源：【Deep Learning for Image Segmentation: U-Net Architecture】 在DDPM論文中，作者使用了U-Net這種模型架構來進行訓練。U-Net是Auto-encoder的變種，可以看到下方一樣有一個bottleneck的部分，且輸入和輸出圖片的大小相同。U-Net在image segmantation的領域有著重大貢獻，與傳統的Auto-encoder不同的是，U-Net在encoder和decoder之間有使用residual connection，以更好的保留原始圖片的特徵。

Tu 2023/2/14 一、前言 最近在看到許多AI生成圖片後，有想深入研究有關生成模型的一些東西，因此想說直接挑戰轟動一時的SOTA model，傳說中的擴散模型(Diffusion Model)，然後發現自己好像還是缺乏基礎，但是研究的過程中多多少少有一些成果和心得，所以來記錄一下。 我看了很多網路上的相關資料，因此這篇很多東西都是根據那些整理出來的，參考資料我會放在最後面。這個系列主要是註解deepfindr的作法，以及一些補充資料。 之後可能還要學習一些有關NLP的知識，看能不能學到word to image的技術是怎麼搞的。 二、簡介 Diffusion Model

Tu32 2023/9/8 "applying the principles of science to solving the problems of humanity" - Richard Buckminster Fuller 一、前言 本來在做Music Generation的模型，也已經寫好兩篇文章了(之後會發佈)，但最近因為有報名梅竹黑客松，所以先鬼轉一下寫寫網頁開發的技術。 我在兩年前有想過寫一個網頁遊戲，那段時間用NodeJS/Express/MongoDB這個Tech Stack研究了一段時間，但之後因為偏向研究ML/DL方面就沒有再碰過了，所以現在來複習+紀錄，以免比賽的時候要用到卻寫不出來。 如果時間允許我可能還會寫React Native的文章，研究Mobile App的開發，但我一向是不太喜歡寫這個的，所以大機率不會寫(也可能沒時間。

Tu 2023/6/26 「綜合建築、音樂、繪畫、雕塑、詩歌、文學和舞蹈之後，將電影加入藝術的行列，名為『第八藝術』。而無數的電子遊戲前輩和工作者，將遊戲推上了『第九藝術』的行列。」 - 森納映畫 喬伊 本專題 github repo 連結 一、前言 雖然我目前只有寫過機器學習相關的文章，但其實我對遊戲開發一直很有興趣，但開發一個有品質的遊戲往往需要大量的心血和時間，也因此一直沒有嘗試。 雖然之前有試過Unity，但我完全搞不懂那個UI怎麼用(有可能是我不常接觸)。而最近剛好暑假有時間，我想說就來玩玩看。

Tu 2023/5/26 “...there was a cut that quite shocked me, because it was a move that would never happen in a human-to-human Go match. But, afterwards I analyzed the move and I found that it was very good. It is one move with two or even more purposes. We call it one stone, two birds.” -Ke Jie 一、前言 看到標題應該知道這個系列要做什麼了。Reinforce learning是我一直很想學但又沒什麼動力學的東西，老實說我最近沒什麼碰Deep learning相關的知識，因為我覺得就我有的設備，就算有了模型，也沒辦法訓練出個什麼。但最近有一門通識課的期末專題是要做黑白棋遊戲，我就想趁此機會來學一下強化式學習。 這篇我主要介紹的Minimax和Alpha beta pruning都算不上機器學習，而是一種演算法(algorithm)，會選擇用這個當開頭一方面是因為我覺得很酷(這種演算法還有很多，感覺像片新大陸)，另一方面是當我真的做出成果後，我希望我的模型可以擊敗這些演算法。 頂著期末爆炸的壓力，希望能寫完。

Tu 2023/4/21 “What I cannot create, I do not understand” -Richard Feynman 一、前言 期中考完來開新系列文，因為室友剛好選到一堂類似的課，我也索性一起來玩玩看。過程中我發現其實完整整理這類內容的文章不多，不然就是不夠清楚，所以我會盡可能整理我一路上找到的學習資源，讓看完這篇的人有能力把FCNN完全理解然後自己實作出來(當然要對ML有一定的理解)。這個系列主要就是嘗試只用numpy就把整個神經網路手刻出來，因此會包含到一些數學和design pattern(希望可以啦)。 我一向是不太喜歡手刻的(誰喜歡)，我在這肝個兩天寫出來的東西可能別人用pytorch或tensorflow兩分鐘就能寫出更好的，那我這是何苦呢？但看到Richard Feynman上面那句話後，我就想來嘗試看看這樣究竟能獲得什麼收穫，說不定在機器學習這條路上，看起來最崎嶇的小徑反而是最快的也說不定。 基於時間考量和我有其他想做的專題，這個系列可能不會有太多集(也可能因為心血來潮就只有這一集)，總之先做再說。

簡介 Automated Machine Learning Automated Machine Learning 顧名思義就是將訓練模型的步驟自動化。從資料前處理、特徵處理、挑選最適模型(NAS)、hyperparameters的優化等，盡可能減少整個流程的繁瑣程度。 用Auto-Sklearn和Fetal Health資料集實作 Fetal Health是Kaggle上提供的資料集，有21個特徵欄位和目標欄位 ['fetal_health'] ，模型的目標是能夠分類出3種健康狀況：1-Normal; 2-Suspect; 3-Pathological. Auto-Sklearn是一個AutoML的套件，這次是使用Version 1。因為似乎沒有支援Linux以外的操作系統，為方便起見我使用Google Colab： 首先先用pip install載入套件，出現錯誤是因為系統沒辦法取得元特徵的資料，稍後會處理