# 馴養了一隻比猴子聰明的 AI 測試猿 - 諶毅軒

{%hackmd MNcuRlXoQDak0uCmtaJKwA %}

> https://medium.com/科科測試
> [name=科科測試]

###### tags: `MOPCON 2019`
- [TOC]
## Agenda

### What's monkey
> 用於檢測 App 穩定度、速度快、開發成本低

- Fuzz testing
- For stabilitu
- Crash, OOM, ANR

- Advantage
- Fast
- Low-cost

- 2016 - 2019
- 291/310

- Daily Crash Free Rate
- 96% in 2016
- 99.9% in 2019

- Development

- links
[how to quick-start](https://github.com/dino-su/android-monkey-quick-start)
[Monkey Test](https://github.com/MonkeyTestIt)

#### Limitation
> KKbox 使用者不會踩到

- Hard to reproduce
- Random script
- Random location
- Random event

- Minor issue

### What's APE
> 利用物件偵測的方式去進行
> monkey學習後會去測試物件按鈕

#### APE with Object ...

#### What We Want
- CI (Continuous Intergration)
- model 會隨著 CI 進步
- Increment dataset
- Speed
- 人力資源不夠
- Well integrity lifecycle
- Cross-Platform
- e.g. ios / android
> 最終希望可以達到跨平台

### TensorFlow object detection API

#### Setup
- Training
- Local or cloud [(Google colab)](https://colab.research.google.com/notebooks/welcome.ipynb#recent=true)
- TensorFlow
- CPU or GPU
> Ubuntu OS with GPU TensorFlw

### Training Inputs

- Screenshots
- Annotation tool(VoTT) - 主動式學習
- https://github.com/microsoft/VoTT
- Transfer your training dataset to Records

> Screenshots from firebase, annotation from VoTT

### Training Configs

- Pre-trained model Zoo
- Sample configs

- e.g.
- ssd_mobilenet_v2_quantized

### Training

Config, saving places ...
TensorBoard 會幫你看 training 有沒有異狀
> 優點：可以視覺化來看 training 過程狀況

### Deploy

#### Tensorflow Lite
- adventage
- cross-platform
- fast
- Convert checkpoint to TFLite

### Testing

#### Tensorflow Lite

透過 Tf Lite 來撈 API 得到結果
Deploy Tensorflow Lite to Android and iOS

### How We Test
- Loop in a specific event count
- Screenshot
- Feed the screenshot to TFLite Object Detection API
- labels
- actions

Demo 功能：
- 截圖
- 辨識
- 結果
- 互動

> 人家說 Live Demo 都會遇到問題
> [name=諶毅軒]

## 踩雷分享

### About Environment
TensorFlow-CPU vs TensorFlow-GPU

- 3GB 顯卡使用 GPU 來做物件偵測，雖然說是中低階的顯卡，但最後的速度還是比 CPU 結果來的快 3 倍

### Training Inputs

#### VoTT

VoTT 真的很方便，可以避免工人智慧。可以透過一個基本的 model 來做標記，人工再來微調
https://github.com/microsoft/VoTT

原先標記方法： 手動標記
- VoTT : 自動標記 => 手動人工*確認*，微調

### Inference

### Case1：Necessary
- 沒有偵測出play button
### Case2：Not-Allowed
- 物件偵測錯誤
- model 有點 overfitting，造成把 Play Store 的 icon 看成 kkbox 的 icon

優點：
- 很快速檢測出哪階段出現問題
(fast, effective)

缺點：
- 需要下很多測試

### F1 Measure
- With a general formula
- Detection
- Boxes infromation of ground truth
- F1 Score(new model) 跟 F1 Criteria(old model) 做比對看 F1 diff，正向分數居多則換成該model
- 可以明顯的看出哪個部分訓練不好
- performance mesurement 越早做越好
> Do performance mesurement ASAP.

### About label
- 將同一取向不同名稱的 label 壓縮成同一個 label (Android 碎片化的系統 dialog label 問題)
> keep minimizing labels
> Model is Learnable then we thought

> 前期在做標注部分可以少一點 Label 沒關係

中間不知道為什麼所有的 Label 都不見了,一氣之下把所有的 Label 設定成 test_label，結果意外的正確率沒有下降太多 -> model 比我們想像的聰明

### About color
- 以 APP 的使用情境下，顏色不太重要，可以考量使用生態圈來調整顏色
- training 全部轉灰階
- Set model config to read image from grayscale
- 甚至 grayscale 效果還比較好(因為元件相同、單純)

> 最後結果：就算把顏色抽離還是可以學習
> 最後建議：大膽的把 Training 轉灰階

因為 image resizer 的關係，不同的裝置解析度會有差異，所以導致偵測不到。
- 既有的形狀全部都會被壓縮
> 若有最新消息和結果，會在官網上面和大家分享

### Vision
- ==ML is not that far away from us==
- 多國語系測試
- 把每個語系的字串，丟去學習

### Page Object
- 優點：
- 穩定度

- UI test 常出現的狀況：
- isDisplay or isExist?