---
# System prepended metadata

title: Unicode Studio in MC x tsmc

---

### Hololens 可用領域:
1.解決記憶需求

# Unicode Studio in MC x tsmc
![](https://i.imgur.com/CdXIRAX.png)
![](https://i.imgur.com/uYj0k5g.png)



### 內場
1.遠程監控食材有沒有熟(簡單的料理動作)(以視覺取代人工移動)
2.食物製作教學(製作指引)(解決人力資源的浪費)

### 外場
1.服務員帶位(路徑)
2.服務員送餐(桌+位置:誰吃什麼餐)
3.服務員點餐(上餐的禮儀、擺盤位置)

### 客人
1.補足食物的顏色、增加娛樂性


# Teddy
1. 客人
    - 走在路上：餐廳推薦，會標示星等、契合度、類型等等資訊
    - 進入店家：看客滿狀態、餐廳資訊等等
    - 點餐：虛擬食物可查看、菜單一目瞭然
    - 等餐：可以玩桌遊或是其他娛樂提供打發時間
    - 餐來了：視覺提示，例如刀叉的使用，食用方式，調味料輔助
    - 吃飯過程的服務鈴，都可以換成 MR
    - 填寫問卷，（偏向店家）
    
2. 外場
    - 送餐指示、位置辨認
    - 定位（人臉辨識、姓名親切感）、帶位指示
    - 顧客資訊
    - 跟後台好溝通
    
3. 內場
    - 廚師長分配工作
    - 廚師長監督所有資訊
    - 大家進度同步
    - 食材、食譜
    - 下廚時的指示
    - 下廚的檢查警示



吃飯虛擬人物陪吃

## Hongyun

### 老闆
1. 提供 hololens 當作整個餐廳的模擬，我們負責建模給老闆體驗整個餐廳的流程

### 服務
1. 拔除服務員，全部由Hololens替代，（這樣每個客人都會需要一套Hololens)


Hololens 功能情境


## Hongyun
    1. 任務分配
    2. 食物製作
    3. 餐廳推薦

## OD:
    1. 服務員送餐(桌+位置:誰吃什麼餐)
    2. 食物製作教學(製作指引)(解決人力資源的浪費)
    3. 內場廚師長任務發配
    
## Taiming:
    1. 服務員送餐(桌+位置:誰吃什麼餐)
    2. 走在路上：餐廳推薦，會標示星等、契合度、類型等等資訊
    3. 等餐：可以玩桌遊或是其他娛樂提供打發時間
    
## Axot:
    1. 餐廳推薦
    2. 任務發布
    3. 送餐
    
任務發布 = 3+1+2 = 6
食物製作教學 = 2+2 = 4
餐廳推薦 = 3+1+2 = 6 
自助點餐 = 3+3+1 = 7
等餐 = 1

# 餐廳的故事
- 在一個人人都有Hololens的世界，其實就像是瀏覽器一樣，我們可以隨意進到一個網頁，看到那個網頁所渲染的東西，並執行該網頁的功能。
- 今天，我們要將餐廳與Hololens的世界結合起來，走在路上，便會顯示路上餐廳的Summary，當我們點擊他即可顯示更詳細的資訊，如評論、3D的餐廳內部、食物模型等。
- 進入餐廳內部，就如同進入網頁一樣，看到餐廳所提供的HoloLens介面，提供如菜單、餐廳地圖、呼叫服務員等功能，也可能有類似於Cookie的東西記錄你的行為，讓餐廳能夠根據你過去在(這家店/在外面)的紀錄，來推薦你食物與調味。
- 阿剩下就看那家餐廳想搞啥。


# 自助點餐+餐廳推薦功能需求
Assume 人人都有 Hololens
1. 進入餐廳(餐廳推薦部分):
    - a. 走在路上，可以透過hololens顯示附近的餐廳訊息
    - b. 走進餐廳後，每間餐廳有一個列表，可以選擇要看可以坐哪裡，菜單等資訊
    

2. 點餐階段:
    - a. 打開菜單顯示食物模型
    - b. 紀錄客人點的食物
    - c. 使用Hololens進行結帳
3. 等餐階段:
    - a.提供食物製作進度資訊(?) 

4. 取餐階段:
    - a.餐點好了之後提示可以取餐
    - b.顯示路徑導航至取餐櫃檯
    - c.客人到取餐檯，系統根據Hololens送出所點餐點

# 餐廳推薦功能Use Case
1. 看到餐廳招牌or店家，跳出餐廳資訊視窗
    - a."眼球追蹤"到所看的店家
    - b.店家資訊視窗彈出(參考NearMenuScene)
        - i.關閉
        - ii.滑動
        - iii.釘選

# 自助點餐功能Use Case
1. 進入餐廳後
    - a. 進去餐廳後需要判斷是否進入餐廳(?)及跳出餐廳所屬選單(ScrollingObjectCollection)
    - b. 菜單 帶位 都可以做成button在裡面，點擊button可以看到
    - c. 帶位 參考上課範例，讓客人去指定的一桌位置坐，路徑找尋用上課的，可以增加指引Solver - DirectionalIndicator
    - d. 會有虛擬的籃子在每桌旁邊，把食物模型丟進去即是點餐動作，畫面可能有一個時間/進度提醒視窗，拿餐點的過程就是跟路徑找尋差不多，食物好了之後
    - e. 拿餐 hololens2中一個畫面顯示拿餐過程/或是實體螢幕顯示 

# 主廚發布任務Use Case
1. 主廚接收任務
2. 主廚發布任務給廚師
    - a.可以拖曳到廚師姓名上方
    - b.可以拖曳到廚師人物上方
3. 接收任務的廚師顯示任務執行進度
    - a.可以顯示在姓名下方
    - b.可以顯示在人物頭上方


# 廚師執行任務Use Case
1. 廚師接收任務
    - a. 任務通知
    - b. 菜名
    - c. 預估時間
2. 顯示烹飪步驟
    - a. 需要食材
    - b. 需要廚具
    - c. 顯示步驟持續時間
    - d. 確認步驟完成
3. 完成所有烹飪步驟，成品驗收



# 資訊

## hololens 人臉追蹤
https://docs.microsoft.com/en-us/windows/mixed-reality/develop/unity/tutorials/mr-azure-304

https://docs.microsoft.com/en-us/samples/microsoft/windows-universal-samples/holographicfacetracking/

## 語音辨識 跟 錄音 功能
https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/Input/Speech.md

https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/Input/Dictation.md

## Axot

### Scene
[MRTK Github](https://github.com/microsoft/MixedRealityToolkit-Unity) 有一堆範例可看
![](https://i.imgur.com/PZwfdsk.png)

### 我覺得可用的MRTK所給的物件(不包含聲音跟雙手控制的東西)

- [Solver](https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/README_Solver.md#how-to-use-a-solver)
控制面板/鎖定東東在Camera
![](https://i.imgur.com/juCDp8k.png)

- [Solver - DirectionalIndicator](https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/README_Solver.md#directionalindicator)
跟你講餐廳物件/廁所/出餐點在哪
![](https://github.com/microsoft/MixedRealityToolkit-Unity/raw/mrtk_development/Documentation/Images/Solver/DirectionalIndicatorExampleScene.gif)

- [ObjectCollection](https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/README_ObjectCollection.md)
快速生出功能列表之類的
![](https://i.imgur.com/mx2T3KP.png)

- 食物模型縮放
[Bounding Box](https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/README_BoundsControl.md#example-scene)
![](https://i.imgur.com/QZvwmYA.png)
[Object Manipulator](https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/README_ObjectManipulator.md#object-manipulator)
![](https://i.imgur.com/CfhVvAN.png)


- [Dialogue](https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/README_Dialog.md#dialog)
蒐集資訊之類的條款
![](https://i.imgur.com/ONQu730.png)

- [ScrollingObjectCollection](https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/README_ScrollingObjectCollection.md#scrolling-object-collection)
菜單/搜尋餐廳列表
    ![](https://i.imgur.com/ApeYMek.png)
    這篇文前面在教你怎麼實作，但其實他已經有做好的了(MRTK/Examples/Demos/ScrollingObjectCollection)
- [ToolTip](https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/README_Tooltip.md#tooltip)
 在食物模型上顯示各部分是甚麼菜、醬料之類的東西
 ![](https://i.imgur.com/pP7d45b.png)
 
### 我覺得可用但沒那麼重要的東東
- [AppBar](https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/README_AppBar.md)
給你的模型物件再包一層方便管理
![](https://i.imgur.com/hl6f2Iz.png)

- [Slider]()
可以讓你調整體畫面物件/食物的亮度、大小對比度之類的
![](https://i.imgur.com/ZZHaNum.png)




### 我覺得可用但試不了的東東
- Hand Menu(要把手翻過來才可用)
[Link](https://github.com/microsoft/MixedRealityToolkit-Unity/blob/mrtk_development/Documentation/README_HandMenu.md)
![](https://i.imgur.com/gVafQkx.png)

### 結論
- 大部分的東西感覺花個時間弄就可以了，只是要拿上面的東西來組和改
- 我還沒概念要怎麼做的：
    - 餐廳推薦所顯示路上餐廳的資訊要怎排版
    - 怎處理實景有轉角或東西被擋住之類的狀況
    - 餐廳搜尋怎得到路徑(雖然demo影片路徑可以自己畫啦)


### 牛逼的微軟
[Link](https://github.com/Microsoft/MRDL_Unity_PeriodicTable)
![](https://user-images.githubusercontent.com/13754172/90335383-ab391e80-e00f-11ea-8a6c-b61aa910b83d.gif)


