# Kobe Holorens Meetup! vol.2 Holorens2 関西上陸記念勉強会
## タイムテーブル

| 時間 | タイトル | スピーカー |
| --- | --- | --- |
| 13:30 | 開場 | |
| 14:00 - 14:05 | イベント概要、会場説明等 | |
| 14:05 - 14:55 (50min) | TBD | 日本マイクロソフト Mixed Reality Marketing プロダクトマネージャー　　上田欣典さん|
| 14:55 - 15:45 (50min) | MRTK V2におけるマルチデバイス対応 〜 Azure Spatial Anchorsとphotonによるシェアリングシステム構築の試み 〜 | Microsoft MVP(Windows Development)大阪駆動開発 宮浦恭弘(Miyaura Takahiro) さん |
| 15:45 - 15:55 (10min) | トイレ休憩 | |
| 15:55 - 16:25 (30min) | Unreal Engine 4 × HoloLens 2 ( 本家アポロデモについて!? ) | 関西のHoloLensの人 山地直彰さん |
| 16:25 - 16:55 (30min) | Mixed Reality UX Research ～ HoloLens 2 × iPhone XS で Spectator View を動かしてみた ～ | 神戸デジタル・ラボ　新事業創造係 MR班 堀尾風仁 |
| 16:55 - 17:30 (30min) | LT大会 | 登壇者募集中 |
| 17:30 - 18:30 (60min) | クロージング / 懇親会 (デモ体験) | |
| 18:30 - 19:00 | 片付け / 完全撤収 | |

## イベント会場・会場説明
神戸ではあり得ないぐらいの豪華ゲスト
もっと盛り上げていきましょう
ハッシュタグ「＃AR_Kobe」「＃Holorens_meetup」

## HoloLens 2 & Mixed Reality テクノロジーで創る新たな世界 上田欣典さん
AR・VRはまだマーケットとして整っていないので法人向け
トヨタ / NEXCO などの CM にも採用されて見る機会も増えてきた
B to B to C (アトラクション) とかにも活用（Pokemon Go など）

日本では開発者がすごく盛り上がっている

* ＭＲとは？

なんで MR が大切なの？
パソコン、インターネットが重要になってきた
スマホがあれば仕事ができる から 次世代機としてHololens 2

MicroSoft は MR はスマホの次につく次世代コンピューティングプラットフォームとして考えている
超えられないものとして次元の壁がある。
現実世界がスクリーンに→作業効率が上がる。直感的に。

MR 出てきたから PC なくなるん？ -> そうではない，様々なシチュエーションに応じて活用していく(スマホが出てきてもPCがなくならないように)

物理世界と融合していく（広義的な意味）のがMR
現実世界にあたかも存在しているかのようにデジタル情報を3Dで表示できる
Pokemon GO だとインターフェースは 2D である．

どこで使われていくのか
SNS出来に攻めているのはVR領域
法人領域にMRは進めている
生産性＆コラボレーションにつよい

* Social & Entertainment
* 生産性 & コラボレーション
* エンタープライズ タスク & プロセス　← MS が攻めていくのはここ
->ファーストワーカーに活用

建築 / 製造 / 医療 / 教育 / 小売 / 防衛 がよく伸びている
→小売だと家具全部見なくても Lineup を HoloLens でみて商品を選べる

日本で一番進んでいるのはTOYOTA
いままでは紙で手順書がああったので大変 / 物理的にも邪魔
車の整備のマニュアルを3D表示することで修理の手順を直感的に把握できるように

コールセンターもHololensをもちいて指示を立体的に説明。
説明に電源を入れたり現地に行かないとダメ
オフィスに行かなくても自宅でコールセンター業務ができる
産業の空洞化を防げるのではないのか？
地方活性化、働き方改革につながる

アミューズメント利用（B to B to C）
バンダイナムコのパックマンは世界に入り込める

* 製品のお話

2019年11月7日より出荷開始

何が変わった？
装着性の向上x3（後部バンドのフィット性向上、バランスの向上）
→連続使用の時間が3倍に！
→フリップUPもできるよね

そもそもhololensとは？
単体で独立して動く。
歩き回れる。リアルタイムに空間をスキャンできる。
本体前部にRGBカメラ、depthカメラ搭載

視野角x2
自然に見れる範囲くらいは見せれる

Hand Tracking
ジェスチャーが増えた 両手 10 本指認識可能
自然な操作が可能に→トレーニング時間の削減

eye trackingもできるよ！
眼球の動きを捉えられるようになったので頭の動きをしなくても目で見て選択できるようになった．
目で見て選択が可能に
虹彩でログイン認証がHololensでも可能に！
→複数ユーザーが利用してもログインが楽に
→万全なセキュリティ

Hololensのデバイスの進化
ミラキャストでPCにミラーリングできるよ

トラブルは再起動だよね
細かな操作はバウンディングボックスでの回転が無難（まだまだコリジョンの検出が難しい）

* 遠隔サポート
エキスパートの人とビデオ通話を用いてリモートアシスト
* ガイド
手順書が 3D で見れる
* レイアウト
物のシミュレーション、自由に動き回りその場でデザインを編集
* 製品表示
iPad などで 3D のものを AR で表示できるアプリ / 3D のセールスカタログ
3D で実際に現場に配置して見せることが可能
→MR は HL だけでない．用途に合わせて使い変えていく

パートナーシッププログラムを実施している
KobeDegitalLab も含む　約25社

Azure Spatial Anchor (クラウドで共有するアンカー)
クラウドを介して見えているものを共有
→いまなら Public preview で無料
（例）Mincraft Earth にも利用されている

AZURE REMOTE RENDERING
クラウドのGPUを利用してリモートレンダリング

Azure Kinnect DK が日本では３月から販売開始（depthカメラ）
何に使うの？
流通製造業・医療ヘルスケア(患者の落下検知等)・リテール(顧客の動線検知等)・ロボティクス

MRの全体像は拡大している。

2020年のHololensのキーワード
・Hololens2
・クラウド・ａｉの連携
・法人での実導入の加速
・5G・TOKYO2020での活用

HL2 で新たな時代を作っていきましょう！！！

質問
今後トラッキングできるデバイスでてくる？
→MS では考えていない，BTのマウスなどは接続可能．

アイトラッキングだけでの操作はなかなか難しい
→自然ではないため。頭の角度と組み合わせるのが無難かな

HL2 で YouTube とか Twitter とか見れる？
Win 10 Holographic Editionが乗っているからブラウザも見れる
UWP対応(ブラウザなら Edge)
→エクセル、パワポもできるよ（できなくもない）
→マルチウィンドウも可能だから作業効率も上がるよ

キオスクモードある？
→キオスクモード搭載のはずだけどやったことない
[キオスクモード](https://www.atmarkit.co.jp/ait/articles/1812/20/news018.html)とは

MRの名前の理由は？なんのために？(Augumented Reality をなくしたのは？)

黒色を出力できないので 100％ の VR を Hololens 2 では体験できないよ。
HololensだけがMRじゃないよ！用途に応じて使ってね。

各社もデバイスごとの差も無くなっていきそうですね。
AR/VR/MRは将来的に統合していく流れがある

Developent Editionあるん？
採用企業，パートナー企業に出荷しています．いまはお待ちください．
製品型番は3つある
個人のデベロッパーが買えるのはまだ

## MRTK V2におけるマルチデバイス対応 〜 Azure Spatial Anchorsとphotonによるシェアリングシステム構築の試み 〜　大阪駆動開発　山地直彰さん @takabrz1
MRは趣味です
* VRとは（実質的な）
デジタル空間を中心にした技術
* ARとMR
現実を中心にした技術
AR/MR はまだまだこれから感
→境界がなくなりつつある

コンテンツの利用方法の違い

1 人　→ ゲーム
多人数 / 多人数＆マルチデバイス → チャット、多人数アトラクション
→VR には全体的に活用例がある．
安価になってきている

AR/MR は共有型は少ない
ビジネス感で見ると安いんだけど個人では高い．
コンテンツの作成に難あり
AR Core を用いたMR・ARコンテンツなら比較的安価で実現できるかも

活用例 -> Pockemon Go が AR らしい機能がついたの最初
QRコードとカメラの情報を利用
プレイヤーそれぞれのポケモンを現実空間において撮影可能

活用例→Minecraft Earthがazure spatial anchor の初実用

これまでの共有型ARコンテンツの問題
* 位置合わせが大変
ずれてたら楽しくない

* クロスプラットフォーム
コンテンツはデバイス毎に対応が必要となる

XR技術を使ったコンテンツに利用できる情報
* Azure spatial anchor
* cross-Platform → MRTK
* Sharing SYstem → Anchors + Photon

仮想コンテンツの永続化
→いつ見ても同じものが同じ場所にある
→コンテンツの表示時間を自由に決定可能
マルチユーザーコンテンツ
→アンカーの相互利用可能
→クロスプラットフォーム対応（iOS/Android）
ウェイファインディング
→(事例)道案内等に活用できる(複数設置可能)

Azure Spatial Anchors
「空間の特徴」「位置情報」「デジタル情報」→クラウドで管理（共有体験の土台）

ポイント
特徴点の集合が一種のマーカー
→特徴点をサーバーで保持(周辺の空間情報 / 個別の情報)
→マーカーレスで実現可能

アンカーIDはデバイス間で共有必要

注意点
アンカー取得時に登録済みアンカーIDが必要
アンカー同士のリンクは同一セッション内で実施
(Anchor の数によって課金されると噂があり，)テスト時に寿命設定は必須（永続にしているとサービス本格開始時に爆死）
UnityのWorldAnchorは利用できない
→ CloudNativeAnchor を利用

coarse relocalization（荒い局在化）
V2 からは GPS/Wifi/Bluetoothの情報も送信するようになった．
（センサー情報を中心に）
屋内屋外で使い分けできるようになっている．

Hololens・Android・iOSに対応
GPS -> 各種 API 対応レベル HL非対応
Wi-Fi -> iOS 非対応
BLE Beacon -> Eddystone / iBeacon -> 簡単に複製できるので横取りに気を付ける必要がある

実演デモ
使用ソフト（便利そう）
[Lets view](https://letsview.com/jp/)

AR Foundation の利用でUnityでも動く
Androidだと動かない機種もあるから気をつけてね

MRTK v2 （unity向けOSSライブラリ）
Hololens・iOS・android・openVR HMD に対応
XRデバイスの固有機能を含め様々な機能を提供
→1つのコードで環境に応じてよしなにしてくれる

基本的な動作はprofileのみで変更で実現できる
→使用するデバイスごとにパラメーターを設定するだけ
（例）standing で使う→空間マッピングは不要だよね

デバイスごとの操作を段階的に抽象化

Azure spatial anchor だけではリアルタイム同期はない・・・
→Azure spatial anchor + Photon でリアルタイムコンテンツ同期

[コード](https://github.com/TakahiroMiyaura/AzureSpatialAnchorsSamplesOnMRTKV2)

## Unreal Engine 4 × HoloLens 2 ( 本家アポロデモについて!? )
この発表の元となった記事 [Qiita](https://qiita.com/diberidarshi/items/084d6313de9a380bea3e)

[だんグラ](https://dangla.jp) 売っています．買ってね．

HL2からUE4にネイティブ対応！
UE4って？
映像業界・建築・VRなどなど多方面で利用されているゲームエンジン
ぱっと見の見た目がフォトリアルでリッチっぽい
HL(無印)でもUE4対応させてました．[とあるアンリアルの魔法陣](https://youtu.be/S7-7HP4dK-I)

holographic remote playerを使ったストリーミング
実機・エミュ向けのパッケージデータの出力

OdysseyでVRモードとして開発している

UE4のリモート機能はストアからダウンロード可能
リモート機能のできること
* UE4の映像音声を実機に映し出す
* 実機からの自身の位置・向きのトラッキング
* 実機からのジェスチャー入力
* アイトラッキングや空間認識情報も PC に送信可能

Hololens2からできる各機能
* 自身の向き位置のトラッキング
→VRの開発と同様にCameraの追加でOK
* 手のトラッキング
→VRのモーションコントローラーと同じように実装可能
→入力イベントはUE4側で用意されているので、triggerイベントで取得可能
* 音声認識
音声とイベントを関連付け可能(BPが用意してくれてる＆GUI操作なので簡単)

UE4とHololens 2は基本的にVR開発のまま使える

questなどのVR機器でも基本的には流用可能だよ

アポロデモについて
タッチベースのUXや指のトラッキングについても参考になるので見た方が良いよ
（推奨環境）RTX2080Ti 🤔

## Mixed Reality UX Research ～ HoloLens 2 × iPhone XS で Spectator View を動かしてみた ～

Spectator View Hololensで見れるARコンテンツをスマホなどの他端末で観客として参加できる
hololens -> iOS / Android のみ

## LT
### あらーとさん
VR空間で年越しを迎えた話

スライドは[こちら](https://docs.google.com/presentation/d/1Fn7Vjqnh_tw3GZZW75Qaer05WSX0YUMX6O1On2P4s4U)

除夜の鐘がうるさい→うるさいなら VR 空間に持ち込もう

Cluster で年越しイベントをたてた
YouTUbe Live でも配信して記録した(本来ならClusterに機能ある)
Twitter で動画配信して告知

* 大晦日会場
除夜の鐘
カウンターの設置
* 年越し会場
縁起物の設置

参加者は 50 人ほど(かなり多い)

大変だったところ
* 会場の設置
フルスクラッチで作ったので
* アナウンス
* 広報

よかったところ
* 家の中から除夜の鐘と初詣ができた
* 現地からのツイートでも人が増えた
*

### いっとりうむさん
大学生で自作 VR ゲーム展示した話と田舎の xR

兵庫県立大学工大祭で自作VRゲームを公開した VRock!
VRブロック崩し 数分でできる競技的にした

プレイヤーは初心者であることを考慮した UI UX
ミラーリングで観覧者も参加できるように

初心者にも優しいように(悪い体験をさせないような)移動をしないように心がけた

マイルドヤンキー層に受けるコンテンツが流行りやすい

### ちょまどさん
Azure Spacial Anchor はじめてみた！

アンカー情報をクラウドに保存していろいろできるよ
シェアリングできるよ

Azure Spacial Anchor の仕組みについて詳しく

文字では表しづらいので画像を貼りたい．-> Twに写真のせてるひと多い

ASA 誰でもできるからみんなやろう！あとで Twitter に載せるよ！

https://twitter.com/chomado/status/1221353465714073600

### nakaatsu さん
HoloLens2 hackday 2020 @ Tokto に参加してみた

家族間でメモを共有できたら便利だよね
→HL2 で現実空間にメモを配置する

「ハンドジェスチャーでやりたい」

アクシデント事例
「USBが認識せずデプロイできなかった」
→type C to A のケーブル使って成功

予め決めておいたマーカーをおいていくような動作

しかし・・・https://connpass.com/event/164356/https://connpass.com/event/164356/
どこにメーカーがあるのか誘導できるようなのが欲しい

予め用意した3Dモデルのサーフェスにマーカーを配置→矢印で視線誘導

ハンドトラッキングでボタン操作はあまり操作性は良くない
→掌にUIを配置すれば触覚によるフィードバックがあるのでよさげ！

### 桑野 範久 さん
Spatial Anchors＋モノビットエンジンクラウドでxR同期コンテンツを簡単に実装！
高知県ＶＲ企業[「AVOCADO」](http://avcd.co.jp)

モノビットエンジン CLoudとは
オンラインゲーム開発をしたい時に簡単に同期してくれる(Photon の国産版のイメージ)
↑TGSでチラシ配ってたよね

めんどくさいプレーヤー間の同期をやってくれる（素晴らしい）
connpassでハンズオンを開くので興味のある人はどうぞ→[connpass](https://connpass.com/event/164356/)

## クロージング / 懇親会 (デモ体験)
ピザ＆お寿司＆　**Hololens2！！！！！！！！**