# AI 嘴型、聲音

https://dreamtalk-project.github.io/
https://github.com/great1001/MyHeyGen?tab=readme-ov-file

圖片影片和音檔合成的結果(Google雲端連結)
https://drive.google.com/drive/folders/1_oSOpA761IFaF-BLzrYG4Inu6EqrrnOH?usp=sharing

---

## DreamTalk
https://github.com/camenduru/dreamtalk
* https://colab.research.google.com/github/camenduru/dreamtalk-colab/blob/main/dreamtalk_gradio_colab.ipynb
* 點開連結->點選左側執行->執行結果下有【Running on public URL:】
->複製後面該網址並貼上連結
* 網站呈現->上傳圖片->上傳音檔->底下點選Run->呈現影片


問題 : 結果影片的解析度太低、影片會縮放跟原始照片不同尺寸

---

## D-iD
* https://studio.d-id.com/
* 點選+Create video->新增圖片->輸入要講的內容(語言、聲音)->點選Generate video


問題 : 匯出的影片有浮水印、嘴巴好像歪歪的

---

## SadTalker
https://github.com/OpenTalker/SadTalker?tab=readme-ov-file

分支有影片生嘴型
https://github.com/OpenTalker/SadTalker/discussions/386

* https://huggingface.co/spaces/vinthony/SadTalker
* 網站呈現->上傳圖片->上傳音檔
* 設定影片preprocess(改變影片呈現大小)/Still Mode (fewer head motion, works with preprocess 'full')頭是否要擺動/GFPGAN as Face enhancer(使臉部講話看起來更真實)
* 設定完之後點選Generate生成影片(需要跑一段時間)


問題 : 匯出影片時間相對較長、不穩定

**安裝到本機**

https://tracyting.com/sadtalker/
https://tracyting.com/%e5%ae%89%e8%a3%9dstable-diffusion-webui/#%E5%AE%89%E8%A3%9DPyyhon-3106

1. 安裝Python 3.10.6
2. 安裝git
3. 安裝ffmpeg到C硬碟裡
4. 新增環境變數(Path裡將ffmpeg的bin文件底下新增)
->確認是否安裝成功可以在cmd裡輸入ffmpeg
5. 下載SadTalker(在命令提示字元貼上"git clone https://github.com/Winfredy/SadTalker.git")
6. 安裝連結裡的四個檔案
https://github.com/OpenTalker/SadTalker/releases
7. 在SadTalker的資料夾新增一個checkpoints資料夾(將剛下載的檔案丟入該資料夾並將rar解壓縮)
8. 點選webui.bat檔案(等命令提示字元跑完，出現http://127.0.0.1:7860就代表安裝完成了)
9. 輸入該網址http://127.0.0.1:7860就會到SadTalker的畫面

安裝過程遇到的問題->Launching SadTalker Web UI
解決辦法->pip install gradio==3.41.2

---

## 裝置規格


---

## 三者比較

| | DreamTalk | D-id | SadTalker |
| -------- | -------- | -------- | -------- |
| 運作速度 | 最快 | 中等 | 最慢 |
| 穩定度 | 中等 | 最穩定 | 最不穩定 |
| 生成尺寸 | 裁切放大 | 原尺寸 | 可自定義 |
| 影片呈現結果 | 中等 | 普通 | 最清晰 |
| 最大問題 | 尺寸及畫質 | 浮水印 | 運作效率慢 |

---