owned this note   changed 5 years ago  
Linked with GitHub

馴養了一隻比猴子聰明的 AI 測試猿 - 諶毅軒

歡迎來到 MOPCON 2019 共筆

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

共筆入口：https://hackmd.io/@mopcon/2019
手機版請點選上方 按鈕展開議程列表。

會場 wifi-SSID: mopcon-2019
會場 wifi-PASSWD: mopcon-2019

https://medium.com/科科測試
科科測試

tags: MOPCON 2019

Agenda

What's monkey

用於檢測 App 穩定度、速度快、開發成本低

  • Fuzz testing

    • For stabilitu
    • Crash, OOM, ANR

  • Advantage

    • Fast
    • Low-cost

  • 2016 - 2019

    • 291/310

  • Daily Crash Free Rate

    • 96% in 2016
    • 99.9% in 2019

  • Development

  • links
    how to quick-start
    Monkey Test

Limitation

KKbox 使用者不會踩到

  • Hard to reproduce

    • Random script
    • Random location
    • Random event

  • Minor issue

What's APE

利用物件偵測的方式去進行
monkey學習後會去測試物件按鈕

APE with Object …

What We Want

  • CI (Continuous Intergration)
    • model 會隨著 CI 進步
  • Increment dataset
  • Speed
    • 人力資源不夠
  • Well integrity lifecycle
  • Cross-Platform
    • e.g. ios / android

最終希望可以達到跨平台

TensorFlow object detection API

Setup

Ubuntu OS with GPU TensorFlw

Training Inputs

Screenshots from firebase, annotation from VoTT

Training Configs

  • Pre-trained model Zoo

  • Sample configs

  • e.g.

    • ssd_mobilenet_v2_quantized

Training

Config, saving places …
TensorBoard 會幫你看 training 有沒有異狀

優點：可以視覺化來看 training 過程狀況

Deploy

Tensorflow Lite

  • adventage
    • cross-platform
    • fast
  • Convert checkpoint to TFLite

Testing

Tensorflow Lite

透過 Tf Lite 來撈 API 得到結果
Deploy Tensorflow Lite to Android and iOS

How We Test

  • Loop in a specific event count
  • Screenshot
  • Feed the screenshot to TFLite Object Detection API
  • labels
  • actions

Demo 功能：

  • 截圖
  • 辨識
  • 結果
  • 互動

人家說 Live Demo 都會遇到問題
諶毅軒

踩雷分享

About Environment

TensorFlow-CPU vs TensorFlow-GPU

  • 3GB 顯卡使用 GPU 來做物件偵測，雖然說是中低階的顯卡，但最後的速度還是比 CPU 結果來的快 3 倍

Training Inputs

VoTT

VoTT 真的很方便，可以避免工人智慧。可以透過一個基本的 model 來做標記，人工再來微調
https://github.com/microsoft/VoTT

原先標記方法： 手動標記

  • VoTT : 自動標記 => 手動人工確認，微調

Inference

Case1：Necessary

  • 沒有偵測出play button

Case2：Not-Allowed

  • 物件偵測錯誤
  • model 有點 overfitting，造成把 Play Store 的 icon 看成 kkbox 的 icon

優點：

  • 很快速檢測出哪階段出現問題
    (fast, effective)

缺點：

  • 需要下很多測試

F1 Measure

  • With a general formula
    • Detection
    • Boxes infromation of ground truth
  • F1 Score(new model) 跟 F1 Criteria(old model) 做比對看 F1 diff，正向分數居多則換成該model
  • 可以明顯的看出哪個部分訓練不好
  • performance mesurement 越早做越好

Do performance mesurement ASAP.

About label

  • 將同一取向不同名稱的 label 壓縮成同一個 label (Android 碎片化的系統 dialog label 問題)

keep minimizing labels
Model is Learnable then we thought

前期在做標注部分可以少一點 Label 沒關係

中間不知道為什麼所有的 Label 都不見了,一氣之下把所有的 Label 設定成 test_label，結果意外的正確率沒有下降太多 -> model 比我們想像的聰明

About color

  • 以 APP 的使用情境下，顏色不太重要，可以考量使用生態圈來調整顏色
  • training 全部轉灰階
  • Set model config to read image from grayscale
  • 甚至 grayscale 效果還比較好(因為元件相同、單純)

最後結果：就算把顏色抽離還是可以學習
最後建議：大膽的把 Training 轉灰階

因為 image resizer 的關係，不同的裝置解析度會有差異，所以導致偵測不到。

  • 既有的形狀全部都會被壓縮

若有最新消息和結果，會在官網上面和大家分享

Vision

  • ML is not that far away from us
  • 多國語系測試
    • 把每個語系的字串，丟去學習

Page Object

  • 優點：

    • 穩定度

  • UI test 常出現的狀況：

    • isDisplay or isExist?
Select a repo