# 專題討論會議紀錄

<style>
.text {
color: #838A2D;
font-weight:bold;
font-family:Microsoft JhengHei;
}
.mark {
color: #FF5733;
font-weight:bold;
font-family:Microsoft JhengHei;
}
</style>

#### 題目👋
:::warning
暑假要想出題目
:::
1. **辨識手寫字**>>辨識畫作已經有很多人做了>>老師覺得蠻有意思的，但是如果是處理書法就可以有新的想法進來》可以有字的辨識或是作者的辨識
2. **植物狀況辨識**>>辨識那種植物比較簡單>>辨識植物狀況比較難>>需要先收集或是自己處理會有訓練樣本嗎？（先去找找看）>> 考慮可行性
3. **自動駕駛車車的功能** >>很多人在做(影像清晰化、緊急情況處理)>>街景上會有引導箭頭for google map >> 1. 黑黑模糊的照片在眾多照片中找到清楚的同一個場景的照片 2. 在黝黑黑模糊的照片和白天清楚的照片中進行比對找到重點的標示進行黑黑模糊照片的更新
4. **航線**>>無人機>>目標來判斷適應的環境>>躲避障礙物>>天氣>>搜救>>老師的專業可能只能朝空拍機影像的方向去處理(很像宗哲的題目)
5. **煮飯機器人** >> 食譜處理 >> 分析食譜 （要選哪一個) >> 評鑑 >> 語言可以制式化一點？化解模糊的步驟（有點主觀）>> 可以再想一下 >> 資料很多網路上很多資料
6. ~~**區塊鏈可能可以解決電子資料的驗證和解密**~~(老師沒辦法做這個)
7. 醫療相關 --> 像是COVID-19
8. [art2live2D or art23D](https://youtu.be/Zkrcx3_DtCw)
9. Google map ex.美國斑馬線應用到台灣、節能的路線推薦
10. 小畫家 從幾條線條變成一幅精美的畫
11. 唇語的影片轉換音訊 => 文字

> 想題目的時候需要考慮有沒有訓練樣本（需要知道答案的樣本）、考量可行度

#### 題目排名

| 專題名稱 | **辨識手寫字** | **植物狀況辨識** | <span class="mark">**自動駕駛車**</span> | <span class="mark">**航線**</span> | **煮飯機器人** | <span class="mark">**醫療相關**</span> |
| -------- | -------- | -------- | -------- | -------- | -------- |-------- |
| QQ | 5 | 4 | 3 | 1 |6 | 2 |
| Leo | 5 | 6 | 1 | 3 | 4 | 2 |
| 宅宅 | 4 | 5 | 2 | 1 | 6 | 3 |
| 總分 | :trophy: 4 | :trophy: 5 | :trophy: 2 | :trophy: 1 |:trophy: 6 |:trophy: 3 |

> 有想法就直接加喔
> [name=心瑜]
> [time=Mon, Jun 21, 2021 2:43 PM]

---

#### 參考資料
- [醫療遷移學習](https://digitimes.com.tw/iot/article.asp?cat=158&cat1=20&cat2=&id=0000566056_OQ4LNNWG6CRAG557J8IA1)
- [遷移學習的四種類型](https://toments.com/435986/)
- 學長的話 ： 遷移學習的方法有很多，如果想要有大概了解的話可以去翻翻[李宏毅老師的機器學習講義](https://hackmd.io/@shaoeChen/B1CoXxvmm/https%3A%2F%2Fhackmd.io%2Fc%2FB1CoXxvmm%2Fedit%3Fedit)。想題目的部分滿困難的XD，我開學快兩個月才確定方向，所以我覺得能夠早一點開始想會更好，途中可與老師討論，以免方向錯誤。至於需要了解的資料應該就是CNN的基礎知識吧(當然也要知道神經網路是什麼)，因為老師的專長是圖形辨識。還有就是專題實作(實驗)的部分通常會用python+機器學習庫，可以去熟悉一下。最後要提醒修老師專題要主動一點，基本上老師信任妳，完全不會去盯進度，要自發去約老師討論進度&問問題。
- [遷移學習參考資料(中文)](https://github.com/jindongwang/transferlearning)

---

#### 日期
##### 老師
- 2021.06.21 題目

---

#### 活動
- [科技部大專生研究計畫](https://www.most.gov.tw/folksonomy/list/2af9ad9a-1f47-450d-b5a1-2cb43de8290c?l=ch)
- <span class="mark">報名日期：農曆年過後截止</span>
- 研究期間自每年七月一日起至次年二月底止，計八個月。
- 需要繳交資料：
- (一)大專學生研究計畫申請書。
- (二)指導教授初評意見表。
- (三)指導教授個人資料表(含近五年著作目錄)。
- (四)學生歷年成績證明。
- 每月補助研究助學金新臺幣六千元，八個月計新臺幣四萬八千元。

#### 8/17 專題題目討論
>[time=Tue, Aug 17, 2021 10:05 PM]
1. 空拍機畫面影像增強＋躲避障礙物之路徑規劃
2. 自動駕駛車影像畫面增強（藉由其他照片來辨識夜晚不清楚的畫面）
1. 影像 -> 空間分析
- 應用：
- 透過監控或空拍機等錄影器材尋找特定物體
- <span style="color:red">空間中物體辨識(是否有比例尺)</span>
- 光達
2. 空間分析 -> 航線規劃
3. 航線規劃 -> 自主飛行
- 應用：
- 救援空拍機
- 空拍機表演
- 自駕空拍機
- 遠的
- 近的
- Pros
- 難度相較3比較低
- 可以學到影像辨識等工具
- 符合教授的專長
- 線上資源較多
- Cons
- 可能無法實際用空拍機 or 車
- 有滿多人已經開發過了
> 1 跟 2 感覺可以合再一起做，都是影像辨識
> [name=蔡鳳駿]
<!--3. 醫療方面
- [Nvidia AI Healthcare](https://blogs.nvidia.com.tw/2021/01/11/jp-morgan-ai-healthcare-new-era/)
- [Nvidia Clara](https://developer.nvidia.com/clara)
- Pros
- 可以學到AI人工智慧跟醫學結合的功用
- 可以多元跨界合作
- 我們的觀點可能會比較不同，說不定會有什麼新的發現
- Cons
- 較為困難
- 資源較新，可能皆是英文資源
> 我覺得如果要做這個的話最好找一些醫學系或藥學系的來合作。
> [name=鳳駿]
-->
3. [art2live2D or art23D](https://youtu.be/Zkrcx3_DtCw)
- 應用：人物設計圖轉成3D角色模型
- Pros
- 能夠加速3D模型製作
- 學習空間概念
- Cons
- 參考資料不多
- 3D可能比較難理解
- 應用：[拍攝電影時特殊動作、特技表演的模擬、特效](https://www.youtube.com/watch?v=smMrgl9MNMk)
- 應用：空間模擬 ex.新家擺設 or IKEA圖片轉3D空間
- 應用：產品設計轉3D建模
4. 聲音轉唇語(虛擬的人物影片)
- 應用1：幫助遊戲模型開發，將有遊戲配音的角色生動化
- 應用2：猜歌遊戲-> 訓練猜歌AI(藉由嘴型來猜測歌曲)
- 應用3：影像分析（嘗試唇語轉聲音）

##### 專題題目
1. 透過監控或空拍機等錄影器材尋找特定物體
2. 救援空拍機自動搜查災害區域（探索特定範圍，自動航線規劃）
3. [自動規劃空拍機航線](https://www.dragonflyuas.com.tw/post/%E8%BC%95%E9%AC%86%E4%B8%8A%E6%89%8B%EF%BC%81%E8%B6%85%E5%AF%A6%E7%94%A8dji%E7%9A%84%E8%88%AA%E7%B7%9A%E8%A6%8F%E5%8A%83%E6%89%8B%E6%A9%9Fapp%E6%95%99%E5%AD%B8)
4. 人物設計圖轉3D角色模型
5. 分析單一圖片可能的3D模型（影視的製作）
6. 將遊戲人物配音套在人物的嘴形上面
7. 將歌曲轉換成人物的嘴型讓人去猜歌
8. 分析影片的唇語轉換成可能的詞語

---

##### 專題討論 with 老師
>[time=Tue, Aug 23, 2021 02:00 PM]
- 空拍機
- 1. 空拍機自動搜查災害之前賀耀華老師有做過，梅珍老師很不熟悉
- 2. 災害區域以及空間比較難尋找，會有驗證上的困難
- 3. 比較偏物件偵測的應用，展示想要結合空拍機
- 4. 辨識的技術即使是二維的，已經不太會受到光線角度上的影響
- 5. 最近比較難的是街景上的路牌或文字(因為背景複雜)
- 2D轉3D
- 1. 比較困難，現在做的人不多
- 2. style transfer是目前蠻紅的題目
- 3. 做轉換的技巧已經蠻成熟
- 4. 也可以做場景的轉換 ex.在師大的建築，可以轉換成魔法學院的風格，變成哈利波特之類的風格圖片
- 音訊
- 1. 驗證上的困難
- 2. 猜歌驗證算是一種驗證或是專業人士(聾啞人士) => 算是間接驗證
- 3. 唇語便聲音也可以考慮，雙向，可以定義損失函式，檢查轉過去又轉回來之中的損失

---
## 音訊
[Lip reading wiki](https://en.wikipedia.org/wiki/Lip_reading)

[Lip Language Recognition for Specific Words](https://sciresol.s3.us-east-2.amazonaws.com/IJST/Articles/2012/Issue-11/Article1.pdf)

#### Nvidia Implement?
<iframe width="560" height="315" src="https://www.youtube.com/embed/lDzrfdpGqw4" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

## Style Transfer
1. [style transfer](https://ieeexplore.ieee.org/abstract/document/8732370?casa_token=1meXdR60ggoAAAAA:4-0hxO94woL9BfkJYTDD8EHXj4P4S9Mv_rWsjy1aBnHRdG0jcPAEYw6COj_Yk105ogYdVS5Ox50)
2. [deep learning style transfer with code](https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix)
##### pix2pix
https://www.sciencedirect.com/science/article/pii/S2405471220301174
>發現可以遷移到地圖style的變化
>[name=心瑜]
3. [deep photo style](https://openaccess.thecvf.com/content_cvpr_2017/papers/Luan_Deep_Photo_Style_CVPR_2017_paper.pdf)

4. [Text Style Transfer](https://arxiv.org/abs/2011.00416)
5. [Neural Doodle](https://github.com/alexjc/neural-doodle)

>[time=Fri, Sep 24, 2021 10:17 PM]小目標：style transfer工具研究

延伸

>[time=Fri, Oct 8, 2021 2:28 PM]
## Neural Doodle
#### Installation
https://github.com/Lasagne/Lasagne/wiki/From-Zero-to-Lasagne-on-Ubuntu-14.04

# 10/15 會議記錄
大專生計畫

# 10/22 會議記錄
### 辨識手寫字 > 電子簽名/信用卡簽名 驗證是否是本人簽的
較為困難，因為人也不太容易去判斷。
除非已經有資料集等

### 戴口罩 不能人臉辨識 ? 或許可以還原/辨識那張圖片是否為本人
1. 符合時事
2. 創新性
可以試試看朝還原的方向！！會滿有趣的～～
**inpainting** 可以自動修補！圖像修補Ex. 像是PhotoShop自動填充
### 照片情緒辨識
> 辨識情緒 > 照片(臉) -> 開心?悲傷? => 可以想一下遷移
> Ex1. 辨識人是否有犯罪跡象?
> Ex2. 在教育上，
> 1. 能不能辨識學生對於上課的內容吸收的程度
> 2. 有聽懂和沒聽懂的同學比例確認
> 3. 專注程度 => 老師能不能再繼續講更多知識或需要休息一下

1. 需要看看有沒有資料
### 聲音辨識情緒
> 辨識聲音 > 辨識他的情緒 => 可和5結合

## 報告&研究計畫
期中可能完成前三項

CVPR (推) => 報告前(11/22-26)把別人的程式跑一次
https://openaccess.thecvf.com/content_CVPR_2020/html/Li_Recurrent_Feature_Reasoning_for_Image_Inpainting_CVPR_2020_paper.html
ICCV
ECCV

### Open Source
https://opensourcelibs.com/lib/facemask-removal
https://bbs.cvmart.net/articles/2903
https://paperswithcode.com/task/image-inpainting

### 測試過的程式
https://github.com/JiahuiYu/generative_inpainting