# CNN Clothes 細分類 0
###### tags: `YOLO` `ICL-ITRI` `NCTU`

## CNN細分類：應用於衣服與材質辨識系統
#### ICL 孫元亨
## 前言
摘要- 本文重點研究現有的CNN分類服裝與材質和材質等級，之前曾用過YOLO+CNN+dataset的概述同時實現衣物之辨識與分類。現在將介紹一些現在的研究與分類有關於「服裝與材質和材質等級」。可以發現CNN 卷積神經網路(Convolutional Neural Network)可以作為「服裝與材質和材質等級」細分類一個很好的選擇.

## 大綱:

大致上提出了一個使用監督的影像學習方法「服裝與材質和材質等級」如CNN(卷積網路)和SVM(支持向量機)的分類器來做分類,也有半監督式(Autoencoder)的學習方式，以實現材質缺陷辨識,如此可以將材質分出數個等級出來。

下面將介紹數篇paper做有關衣物分類與材質分等辨識與材質缺陷分析：

### 第1篇：Active Clothing Material Perception Using Tactile Sensing and Deep Learning

*. video :

https://www.semanticscholar.org/paper/Active-Clothing-Material-Perception-Using-Tactile-Yuan-Mo/1cc30de19f223d4e5d5b3fd2d4e62e6cfde52535/video/7cfde25a

*. paper
https://deepai.org/publication/active-clothing-material-perception-using-tactile-sensing-and-deep-learning

*. pdf
https://arxiv.org/pdf/1711.00574v1.pdf#page=3

。

#### 使用機器手臂系統，該系統可以通過觸摸自動感知對象的屬性目標屬性是物理屬性（例如厚度，模糊性，柔軟性和耐久性）以及語義屬性（例如穿著季節和首選的洗滌方法）。作者收集了153種不同衣服的數據集，並對它們進行了6616次探索疊代。 卷積神經網絡（CNN）用於識別服裝特性的觸覺數據，以及用於選擇探索位置的Kinect深度圖像。實驗表明，使用訓練有素的神經網絡，機器人可以自動探索未知的衣服並學習其屬性。

圖1（a）自動識別衣服的機器人系統,包含了GelSight傳感器和Kinect傳感器。（b）指尖GelSight傳感器。（c）裝有GelSight傳感器的抓手正在抓緊衣服。（d）-（f）握力加大時來自GelSight的觸覺圖像。

圖2：機器人擠壓衣服時的GelSight圖像示例（顏色重新縮放以用於顯示目的）。不同的衣服在GelSight圖像上產生不同的紋理，以及不同的整體形狀和折疊形狀。左上方的示例顯示了抓具中沒有衣服時的示例。

:::success
整個robot arm 系統使用GelSight記錄一組觸覺圖像（參見圖1）。（c）-（f））。

然後，我們訓練卷積神經網絡（CNN）進行多標籤分類，以識別服裝屬性。為了自動生成探索程序，我們使用外部Kinect傳感器獲取衣服的整體形狀，尤其是皺紋的位置，並訓練另一個CNN來拾取皺紋上的優選點。機器人將跟踪Kinect檢測以進行有效探索。我們還使探索成為閉環：如果觸覺數據不好，這意味著神經網絡無法以高置信度識別屬性，那麼機器人將在另一個位置重新探索衣服，直到獲得良好的觸覺數據為止。自信的結果。

我們研究的11個特性是物理特性(表1)，包括厚度，模糊性，光滑度，柔軟度等，以及與衣服的使用相關的語義特性，包括穿著季節，首選的洗滌方法和紡織品類型。語義屬性可以幫助機器人為多個家務勞動分類衣服。為了使系統能夠適應各種常見服裝，我們收集了153件衣服進行訓練的數據集，該數據集涵蓋了不同的衣服類型，材料和尺寸。實驗結果表明，該系統可以識別可見和不可見物品的服裝屬性，以及檢測有效位置以產生觸覺探索。機器人可以使用受過訓練的網絡對衣服進行閉環探索。據我們所知，這是利用機器人觸覺研究細粒度服裝性能的第一項工作。這項工作的方法論將使機器人能夠更好地理解普通衣服，並幫助人類完成更多的家務勞動，例如洗衣服和整理衣服。

:::

作者收集了153件新衣服和二手衣服的數據集。這些衣服都是日常生活中的普通衣服，但是在類型，材料和尺寸上分佈廣泛。我們的目標是使數據集涵蓋普通家庭中的各種常見衣服。該數據集還包括少量其他織物產品，例如圍巾，手帕和毛巾。


表I：服裝屬性標籤 (11種屬性)


圖6：（a）用於從單個GelSight圖像識別不同屬性的多標籤分類網絡。（b）用於識別GelSight視頻中不同屬性的神經網絡，我們從視頻中選擇9幀作為輸入。（c）評估緊握點是否會產生有效觸覺數據的網絡。對於觸覺CNN，我們使用VGG19；對於深度CNN，我們應用VGG16。


### 使用CNN分類==>針對GelSight的image (11類)

在此實驗中，機器人使用深度CNN和触覺CNN自主運行探索。在探索中，如果來自觸覺CNN的屬性估計不確定，這很可能是由於觸覺數據不正確造成的，則機器人將重新進行探索。本實驗中的觸覺CNN是用於單個圖像輸入的CNN（圖 1（a））。



我們測試了30件測試服，每件衣服進行了5次探索。結果示於表 III。在這裡，我們比較了“不重試”和“不重試”的結果，這意味著系統不會判斷數據質量。請注意，“不重試”結果要比表II中的結果差， 因為此處的觸覺數據是機器人生成的所有原始數據，而表 II僅來自良好的數據。另一個原因是該實驗中的凝膠傳感器是一個不同的傳感器，以前在訓練集中沒有看到過，因此光照分佈略有不同。結果還表明，隨著重審，財產分類的準確性大大提高。平均來說，機器人每次探索都要進行1.71次試驗，但是77.42％的衣服對機器人來說“很容易”，只需不到2次抓取就可以獲得自信的結果，而且性能評估更加精確。剩下的衣服更“混亂”，機器人需要多次探索它們，但是這些特性仍然沒有得到很好的認識。

### 結論
對物體屬性的感知是使智能機器人能夠理解環境並與環境互動的重要部分，而在常見物體中，服裝是重要的一類。通過更好地了解服裝的特性，機器人將能夠更好地了解人類的生活，並更好地協助人類做家務。在本文中，我們介紹了一種機器人系統，該系統可以自動感知常見衣服的材料特性。該系統使用GelSight觸覺傳感器作為感官輸入，並識別衣服的11種特性，這有助於機器人對衣服的材料有相對全面的了解。我們使用卷積神經網絡（CNN）對GelSight觸覺圖像進行分類，該模型可以很好地識別可見衣物的衣物特性，並有效識別看不見的衣服。

同時，我們使用Kinect傳感器引導機器人在自然環境中探索衣服，並使用結合了手工模型和CNN的方法來找到有效的接觸位置。據我們所知，這是感知普通衣服的細粒度特性的第一項工作，並且為機器人的對象特性的主動觸覺感知提供了新的示例。本文中的系統和方法論將幫助機器人更好地幫助人類完成與服裝相關的家務勞動，並激發其他有關主動觸覺感應物體特性的工作。並使用結合了手工模型和CNN的方法來找到有效的接觸位置。據我們所知，這是感知普通衣服的細粒度特性的第一項工作，並且為機器人的對象特性的主動觸覺感知提供了新的示例。

本文中的系統和方法論將幫助機器人更好地幫助人類完成與服裝相關的家務勞動，並激發其他有關主動觸覺感應物體特性的工作。並使用結合了手工模型和CNN的方法來找到有效的接觸位置。據我們所知，這是感知普通衣服的細粒度特性的第一項工作，並且為機器人的對象特性的主動觸覺感知提供了新的示例。本文中的系統和方法論將幫助機器人更好地幫助人類完成與服裝相關的家務勞動，並激發其他有關主動觸覺感應物體特性的工作。