上次講完了現今已被大量民用的VR眼鏡與他們的工作原理，這次來講其他能加深沉浸式體驗及協助我們在虛擬世界遨遊的其他裝置和他們的原理！
## 虛擬世界的雙手
### 手部控制器
延續上篇所提到的3DoF與6DoF，控制器也跟根據他們而有不同的設計。
#### 3DOF controller
三軸自由控制器(3DOF controller)所搭載的主要以手機VR為主，因此並無追蹤定位系統判斷使用者的位置，加上控制器無法追蹤手部位置進而侷限於3DOF的操控彈性，因此必須仰賴六軸控制器來獲得較大的靈活性。
#### 6DOF controller
六軸自由控制器(6DOF controller)是Room-scale虛擬實境必備的控制器，VR頭盔中使用視覺追蹤技術，利用外置Base Station追蹤手把控制器3D位置及方向。
VR一體機則使用inside-out tracking技術，以頭盔上的攝影機追蹤手把達到相同效果。
利用6DOF控制器除了得以讓虛擬手呈現於畫面之中，手把上的按鍵(trigger)、操縱稈(thumb stick)及觸控面板(touch pad)則提供額外的動作指令，諸如抓握物品、滾動選單、擊發、點按等，同時搭配振動回饋讓使用者與虛擬物件互動時增加沈浸感。
### 手部追蹤
不過關於動態捕捉又是一個很大的領域，在此我們就先不提了。
## 給五感的沉浸式體驗
### 視覺聽覺
視覺我們在上一篇中已提過，關於聽覺，VR設備的聽覺仍是雙聲道的耳機及喇叭為主流，但其實雙聲道耳機的擬真程度已足以應付大部分的應用情境。
(圖片來源:https://app.nio.com/app/web/v2/content/1586288671?load_js_bridge=true&show_navigator=false&content_type=article&ADTAG=wechatfriend&share_uid=4B5nfdHmiPI7YOaCQEPNmQ)
### 嗅覺
嗅覺被喻為是最個人化的兩種感官，同樣的化學物質比例，對於不同人來說感知到味道可能不同，因此還沒辦法在VR中被大量複製。目前多數人研究的是由不同化學藥劑的組合調出各式味道來模擬真實物件的香氣。
(圖片來源:https://www.itmedia.co.jp/news/articles/1811/21/news081.html)

香港城市大學研發的最新研究可穿戴式嗅覺反饋系統裡，已經具有無線操作及可編程的功能。
第一種反饋裝置是黏貼在皮膚上的貼片式小型裝置，它由兩個氣味產生器組成，並可以直接黏貼在使用者的鼻子與上唇之間。由於氣味產生器和使用者鼻子的距離極短，它可以實現超快速的嗅覺反應。
第二款反饋裝置則採用了一種靈活的柔性面罩設計，它裝設有九個能產生不同氣味的氣味產生器，可產生數百種不同氣味的組合。

上述的氣味產生器之所以能產生如魔法般逼真的氣味，全賴一個精細的加熱平台和機械式熱驅動器。它通過加熱去融化氣味產生器內藏著不同香味的石蠟，導致石蠟產生相變，從而釋放出可調節濃度的不同氣味。若要停止釋出氣味，氣味產生器可以通過控制熱驅動器，來中止加熱及冷卻石蠟。

于博士說：「這套嶄新嗅覺反饋系統為用戶在虛擬實境中重現嗅覺的感受，提供了一個新的替代選擇。由於新系統釋放氣味時不但反應快速，而且氣味產生器的集成密度高，並具有兩種不同的可穿戴設計，確保了新嗅覺反饋系統在各個應用領域的巨大潛力，包括娛樂、教育、醫療保健和人機界面等等。」
### 味覺
日本明治大學教授 Homei Miyashita 與其研究團隊開發出一款手持式的「味覺感官裝置」，只要將裝置放進嘴裡，就能重現所有與食物有關的味覺。裝置透過5種電解質凝膠來展現5種味覺的強度：酸、甜、苦、鹹和鮮味。

裝置的運作是使用電泳（Electrophoresis）原理，電泳是指在空間勻強電場作用下，分散粒子（Microscopic Particle）在流體中發生移動的現象。 而這由五支凝膠管組成的裝置，施加不同的測量的電荷，一旦觸碰舌頭，可以使人體「嚐到」不同的味道。（註：實驗在不會造成人體傷害的低電壓下運作）
一旦將這種裝置與VR中的體驗結合，或許我們能夠真實嘗到電影電視、遊戲中的各式美食，或是遙遠他鄉的山珍海味。
(圖片來源:https://www.youtube.com/watch?v=7HIm4LoAZxU&ab_channel=%E6%98%8E%E6%B2%BB%E5%A4%A7%E5%AD%A6%E5%AE%AE%E4%B8%8B%E7%A0%94%E7%A9%B6%E5%AE%A4 截圖)
### 觸覺
#### 觸覺手套
人的感官是容易受到欺騙的，實驗室負責人Michael Abrash回憶第一次VR體驗時的想法:「我看到一個盤子、我看到手指在盤子上，我聽到手指刮擦盤子聲，還感受到手把震動，我會告訴你，我在摸一個瓷盤。」

在2014年，Meta組成的「Reality Labs」團隊，展示了佈滿線纜和氣囊的觸覺手套。當拿起眼前物體時，氣囊會隨感測充放氣，限制指關節彎曲，模擬手握東西的感覺。指腹也有震動馬達模擬觸感，讓人誤以為真的在拿東西。
(圖片來源:
https://www.facebook.com/TechAtFacebook/videos/4613917515351815/)

#### 無線穿戴式手掌貼片
電觸覺（Electrotactile）是一種通過電流刺激皮膚來產生觸覺感覺的技術。當電流通過皮膚時，它會刺激感覺神經末梢，使其發送觸覺信號到大腦，從而產生觸覺感覺。

香港城市大學領導的研究團隊最近研發一套輕薄、柔軟、緊貼皮膚的無線電觸覺反饋系統“WeTac”，戴上後就像第二層皮膚，根據個人化的電流數據，系統可因應手掌不同部位的敏感程度，提供適當的電觸覺刺激強度。

這套系統由兩部分組成：一個可貼於前臂的微型軟片式驅動器作為操控面板(可連接藍芽於手機操控)，以及一塊水凝膠電極手掌貼片作為觸感介面。

下圖為虛擬老鼠在玩家手上移動，系統的水凝膠手掌貼片有32枚電觸覺刺激顆粒分佈全掌，計算不同使用者的閾值電流，並把物件大小、停留時間長短等觸覺感受的時間和空間訊息，反饋到用家手上，帶來更逼真的虛擬觸感體驗。

(圖片來源:https://www.cityu.edu.hk/zh-cn/research/stories/2022/12/15/cityu-researchers-develop-wireless-ultrathin-skin-vr-provide-vivid-personalised-touch-experience-virtual-world)

## 參考資料
- [認識手勢追蹤系統：MediaPipe Hand與Oculus Hand Tracking](https://medium.com/ai-blog-tw/deep-learning-%E5%85%A5%E9%96%80-%E8%AA%8D%E8%AD%98%E6%89%8B%E5%8B%A2%E8%BF%BD%E8%B9%A4%E7%B3%BB%E7%B5%B1-mediapipe-hand%E8%88%87oculus-hand-tracking-ec7df294b36b)
- [VRUI Library](https://vrui-research.gitbook.io/researchonvrui/ru-fang-fa-input-method/shou-bu-zhui-fingertracking)
- [虛擬實境數位教材網](http://w3.uch.edu.tw/ouyang/vr/Unity_03.html)
- [感官製造機：工程視角下的VR原理？給工程師／設計師／創作者最詳盡的VR 設計入門(中)](https://j4170149.medium.com/%E6%84%9F%E5%AE%98%E8%A3%BD%E9%80%A0%E6%A9%9F-%E5%B7%A5%E7%A8%8B%E8%A6%96%E8%A7%92%E4%B8%8B%E7%9A%84vr%E5%8E%9F%E7%90%86-%E7%B5%A6%E5%B7%A5%E7%A8%8B%E5%B8%AB-%E8%A8%AD%E8%A8%88%E5%B8%AB-%E5%89%B5%E4%BD%9C%E8%80%85%E6%9C%80%E8%A9%B3%E7%9B%A1%E7%9A%84vr-%E5%85%A5%E9%96%80-%E4%B8%AD-e36f5c611436)
- [城大研發無線嗅覺反饋系統，讓用戶在虛擬世界也聞到氣味](https://www.cityu.edu.hk/zh-hk/research/stories/2023/06/06/cityu-invents-wireless-olfactory-feedback-system-let-users-smell-vr-world)
- [新型態VR體驗─嗅覺虛擬實境！可搭配各種頭戴裝置使用的 VAQSO VR 嗅覺設備開發者版本將在 11 月底出貨](https://www.kocpc.com.tw/archives/230460)
- [戴上這副手套，我們就能「摸到」元宇宙](https://technews.tw/2021/11/18/haptic-glove/)
- [跳脫手套的 VR 觸覺方案，可穿戴的電子「皮膚」](https://mag.addmaker.tw/2022/12/26/vr-wetac/)
- [你還在VR？吃東西也能虛擬！味覺感官器，山珍海味任你吃！](https://blog.icook.tw/posts/148341)