###### tags: `面談`
# 211012_面談本田

### 進捗
- 論文調査・配布コード実装
- 指先切り出し手法の検討

---

## 指先検出手法の論文調査（先週と同じ2つ）

### Mask-Pose Cascaded CNN for 2D Hand Pose Estimation From Single Color Image 2018
>
> 入力画像から**手のマスクを求め，関節位置の推定**を行った研究
>
> 図：マスクと関節の検出結果例（マスク，関節の検出結果，ヒートマップ）
> 
>

<br>

**サンプル配布ページ：https://www.yangangwang.com/papers/WANG-MCC-2018-10.html**

Caffeというプラットフォームで作成されたファイルが配布されている．
Caffeについて調査したが，配布されているファイルはネットワークの構造や学習時のパラメータの設定ファイルを記した.prototxtと.solverである．しかし，学習した重みを記した.caffemodelがないため，自分で学習させる必要がある．
そのためにはデータセットを入手する必要があるが，学生個人からのメールは受け付けておらず，アドバイザーまたは研究機関、大学、大学の教員がデータセットをリクエストする必要がある．

作者はCaffe2の環境に移行している

### SRHandNet: Real-Time 2D Hand Pose Estimation With Simultaneous Region Localization 2020

> 手の関心領域と手の関節を同時に回帰させ，3次元の関節座標を認識する．
> MaskR-CNN，FasterR-CNNで手を検出する例よりも頑健に手の領域検出，関節の認識ができると述べられていた．
>
> 図：関節の検出例（BBOX,ヒートマップ，関節の検出結果）
> 
>

<br>

配布されているコードを実行し，関節の認識を行った結果が次のものである．関節の位置が正しく認識された．




---
## 指先切り出し手法
・人差し指の例
1. 第一関節（9）と第二関節（8）から指の角度を求める
2. 画像を回転させて，指を垂直にする
3. 根本のキーポイント（6）と（10）の距離を求め，指の幅の目安とする
4. 決定した横幅からキーポイント（9）から第二関節（8）までを切り抜く．

<br>
<br>

関節に割り当てられた番号の例

## 考察
- 関節の認識ができているため，取得した関節情報から指先切り取りを試し，その結果を見てみる
- 上手く切り抜きができるかによって，マスクや背景除去の処理が必要か判断したい．
- → 次週までに切り抜きをテストしたい．

## 今後の課題
- 指先切り取り実装
- マスク・背景除去が必要か判断
- 時系列特徴量の実装・分類
- 精度向上

<br>

<br>

<br>

<br>

<br>