# 20221006 JPhack会議

***公開設定を確認してください***

* 11:00~
* 開催場所：衛星部屋
### スポンサー情報
* [Twitter](https://twitter.com/jphacks_PR)

## 調べたこと
[zozo](https://www.itmedia.co.jp/news/articles/2109/03/news083.html)
[ファッションをセグメンテーションする機械学習モデル](https://prtimes.jp/main/html/rd/p/000000003.000098104.html)

## 絶対必要な機能
* 自分が持っている服を登録する機能
* AI がコーディネートしてくれる機能
* 服の画像を処理する機能

## パラメータ
* 気候
* 色
*

## 使えそうなモデル
[ClothingDetection](https://medium.com/axinc/clothingdetection-%E6%9C%8D%E8%A3%85%E3%82%92%E6%A4%9C%E5%87%BA%E3%81%99%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%83%A2%E3%83%87%E3%83%AB-e75cc8bc75b7)

## 活用できそうなデータベース
https://www.ai-gakkai.or.jp/resource/my-bookmark/my-bookmark_vol34-no2/
からいくつか抜粋

使いやすそう
・[DeepFashion2](https://paperswithcode.com/paper/deepfashion2-a-versatile-benchmark-for)
ファッション画像の理解は，DeepFashion のような豊富なアノテーションを持つベンチマークによって進められてきた．しかし、DeepFashionには、1画像に1つの服しか表示されない、ランドマークがまばら（4~8個のみ）、ピクセル単位のマスクがないなどの無視できない問題があり、実世界のシナリオとは大きな隔たりがありました。我々は、これらの問題を解決するために、DeepFashion2を発表し、ギャップを埋める。これは、服の検出、姿勢推定、セグメンテーション、検索を含む4つのタスクからなる汎用的なベンチマークである。このベンチマークには801Kの服があり、各アイテムはスタイル、スケール、視点、オクルージョン、バウンディングボックス、密なランドマーク、マスクなどの豊富なアノテーションを持つ。また、873Kの商業用と消費者用の服のペアが存在する。Match R-CNNと呼ばれる強力なベースラインが提案され、これはMask R-CNNの上に構築され、上記の4つのタスクをエンドツーエンドで解決するものである。DeepFashion2において、様々な基準で広範な評価が行われた。
・[zozo-shift15m](https://github.com/st-tech/zozo-shift15m)
・[DeepFashion](http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html)
カテゴリ・属性判別タスクや検索タスクのために準備されたデータセットです．80万枚のアイテム画像およびスナップ画像と，衣服のカテゴリ，属性情報，landmark（袖や裾など衣服に関するキーポイントの座標）を含みます．基本的なタスクに必要なデータは網羅されており，ファッションにおけるベンチマーク的な位置づけです．
論文中では同データセットを使って様々なタスクを解いています．ポーズ認識と同じ要領で，衣服のキーポイント検出を目的としたlandmark detectionというタスクも提案しています．
・[Polyvore](https://arxiv.org/abs/1707.05691)
コーディネートに対する認識を実装しようとすると，衣服の組み合わせに関するデータが必要になります．
PolyvoreはECサイトのアイテム画像をコラージュして投稿するサービスで，同サイトの投稿を収集したものがPolyvore datasetです．
あるコーディネートにどのアイテムが使われているかのマッピングと，そのアイテムのタイトルやカテゴリが含まれます．

使いにくそう
・[Netizen-Style Commenting on Fashion Photos: Dataset and Diversity Measures](https://arxiv.org/pdf/1801.10300.pdf)
ファッションにおけるimage captioningタスク用のデータセットです．ユーザーが投稿したスナップ画像とそれに対するコメントが含まれます．画像に対する説明でなく感想を扱うため，同論文中では生成されたコメントの多様性を評価する方法も提案しています．
[データセット](https://mashyu.github.io/NSC/)

・[ModaNet](https://arxiv.org/pdf/1807.01394.pdf)
[データセット](https://github.com/eBay/modanet)
街中で撮影されたスナップ画像のデータセットです．画像枚数は55,176枚と画像認識データセットとしては少なめですが，これら全てにバウンディングボックスと領域分割用のpixel annotationが付加されており，ファッションの領域分割タスク用データセットとしては最大規模です．

## レコメンドに関する論文
・[“Hi, Magic Closet, Tell Me What to Wear!”](https://people.cs.clemson.edu/~jzwang/1501863/mm2012/p619-liu.pdf)

旅行やスポーツなど，状況に対して適切な衣服を提案するシステムです．画像からの属性抽出，属性と状況の共起、属性同士の共起関係を利用して状況に適した衣服を推薦します．

・[Recommending Product Sizes to Customers](https://cseweb.ucsd.edu/classes/fa17/cse291-b/reading/p243-sembium.pdf)

Amazonによる，衣服のサイズと購入／返品に注目した分析です．ユーザーのサイズおよびアイテムの真のサイズが与えられていないという条件で，購買と返品のトランザクションからそれぞれの真のサイズを予測します．大きすぎた，小さすぎた，ちょうどよいの関係をヒンジロスを用いてシンプルに定式化しています．

## AI
論文サーベイ
笹岡-DeepFashion2
永田-zozo-shift15m
林-Polyvore
横井- Netizen-Style Commenting on Fashion Photos: Dataset and Diversity Measures
山本-ModaNet

論文を読む＆データセットの中身がどのようなものか調べる
利用規約に注意

## 今後の予定
10/8か9 に会議します
3日に1回ペースで会議

Learning Sprint参加してみよう（任意）