# OCR 的下一步
###### tags: `OCR track`
# 2021/9/29
[驗證碼放置區-信賢的 google drive](https://drive.google.com/drive/folders/1rzqRcfxBfkn1Jr8YTO4VlB6J8iPJXNcW)

## 2021/9/22 討論

* 下次開會時間: 9/29
* 下次須完成的進度
* RPA: 收集好要訓練的驗證資料
* image segmentation: 確認能不能從描述物件的多點中，找到關鍵的 6 個點做物件校正

## 2021/9/15 討論

大家的愛帝兒
|no| Name | 主題 | 人力| 時間 | 說明|
|-|-------- | -------- | -------- | -------- |-------- |
|1| 信賢 | 驗證碼套件 RPACaptcha | 2~3人|1 ~ 2周收集各大網站的驗證碼或是自己生成假資料、1周training看成效 | 估計假資料要100萬張(先喊先贏?)想要做一個RPA常用的驗證碼辨識套件，至少在驗證集希望有0.95 以上。最後成效不錯的話上到pypi? |
|2|昱睿|反光偵測模型測試|1 ~ 2 人|收集資料: 1 ~ 1.5 週<br/>模型驗證: 1 ~ 1.5 週<br/>總共約 3 週|想解決影像前處理的問題，希望兼顧 accuracy 高且 inference 快|
|3|昱睿|auto-augment 實現在 RL 上|2 ~ 3 人|1. 學 RL (2 ~ 3週)<br/>2. 找範例實現 (2 ~ 3 週)|能夠實現的話應該可以解決模型穩定性的問題|
|4|沛筠|PDF 全文辨識|2~3人|1. 收集資料 (1.5 ~ ?週)<br/>2. 訓練模型 (2 ~ 3週)<br/>3. 驗證 (1 ~ 1.5週)|目標為中英文件皆能辨識，對表格 / 列表內容擷取效果好且穩定|
|4|昊中|文檔OCR|1~2人|1.蒐集與驗證可用模型(筆電可跑): 1~1.5週<br/>2.文檔影像前處理方法: 2~3週<br/>3.再次驗證: 0.5~1週|找到general的影像前處理方式實現更穩定準確的文檔辨識|
|5|立晟|[image segmentation: milesial/Pytorch-UNet](https://github.com/milesial/Pytorch-UNet)|1~2人|1. 測試 pretrained model (1天)<br>2. 分不同 dataset 數量 train from scratch (1~2週)<br>3. 確認要多少 dataset 可以有不錯的成效<br>4-1. 用 segmentation 的座標校正主要物件 (1~2週)<br>4-2. 請臨時人力貼標<br>5. 找一個專案來測試|從顧客拍的影像找出主要物件並校正
||||||

### 結論

* RPA: 驗證碼 OCR
* 成員: 信賢、昊中、沛筠
* CV: image segmentation
* 成員: 立晟、昱睿
* 下次討論：列出 2 件案子的時程，來決定下一次報告要報的進度與內容。看起來下次是 10/7 報告

## 2021/9/8 討論

### 下次待辦

準備最有興趣的題目，並且估計

1. 想要達成的成果，如 testing data performance
2. 需要的人力、時間

### 大家的 idea
* 昱睿
* 實作障礙物、反光偵測
* https://github.com/alex04072000/ObstructionRemoval (CVPR-2020)
* https://github.com/Vandermode/ERRNet (CVPR-2019)
* https://github.com/ceciliavision/perceptual-reflection-removal (CVPR-2018)
* RL 在 auto augment 的實作
* pytorch RL code:https://pytorch.org/tutorials/intermediate/reinforcement_q_learning.html
* 信賢
* 挑戰賽中的 data augmentation：針對特定專案製造假資料
* 人資處：下載各家金控的年報，找到董監事的位置
* 驗證碼 OCR
* 昊中
* PDF 檔的影像辨識，類似全文辨識。A4 全文辨識
* 人臉識別
* card-segmentation
* 立晟
* image segmentation -> 影像轉換 (可能 4 點或者多點)
* template matching for 文件
* 沛筠
* 處理 RPA 的文件問題

## 小結論
### 下一次
- [Learning to See Through Obstructions](https://arxiv.org/pdf/2004.01180v1.pdf)
- CVPR 2020 年的 paper
- code: [alex04072000/ObstructionRemoval](https://github.com/alex04072000/ObstructionRemoval)
- youtube:https://www.youtube.com/watch?v=pJWcHhofYTE&ab_channel=Jia-BinHuang
### 下下次
- Instance Segmentation :star:
- Pointly-Supervised Instance Segmentation (2021, Facebook AI)
- [Paper](https://arxiv.org/pdf/2104.06404)
- [Code](https://github.com/facebookresearch/detectron2/tree/master/projects/PointSup)

## 下次方向
- 影像前處理 (paper with code)
- 去反光 :star::star::star::star:
- [Single Image Reflection Separation with Perceptual Losses](https://paperswithcode.com/paper/single-image-reflection-separation-with)
- CVPR 2018 年的 paper
- code: [ceciliavision/perceptual-reflection-removal](https://github.com/ceciliavision/perceptual-reflection-removal)
- [Learning to See Through Obstructions](https://arxiv.org/pdf/2004.01180v1.pdf)
- CVPR 2020 年的 paper
- code: [alex04072000/ObstructionRemoval](https://github.com/alex04072000/ObstructionRemoval)
- 資料增強 (data augmentation)
- [AutoAugment: Learning Augmentation Policies from Data](https://paperswithcode.com/paper/autoaugment-learning-augmentation-policies)
- code: [tensorflow/model](https://github.com/tensorflow/models/tree/master/research/autoaugment) -> 很像是已經變成 tensorflow 套件的一部分了

- GAN
- [DATA AUGMENTATION USING GENERATIVE ADVERSARIAL
NETWORKS (GANS) FOR GAN-BASED DETECTION OF
PNEUMONIA AND COVID-19 IN CHEST X-RAY IMAGES](https://arxiv.org/pdf/2006.03622.pdf)
- [On Data Augmentation for GAN Training](https://arxiv.org/pdf/2006.05338.pdf)
- 論文集: https://paperswithcode.com/task/data-augmentation
- [GAN ZOO](https://github.com/hindupuravinash/the-gan-zoo)
- 風格轉換 GAN
- 用 GAN 加噪或去噪
- [GlyphGAN: Style-Consistent Font Generation Based on
Generative Adversarial Networks](https://arxiv.org/pdf/1905.12502.pdf)
- [Multi-Content GAN for Few-Shot Font Style Transfer](https://arxiv.org/pdf/1712.00516.pdf)
- 去噪 (Denoising)
- Unprocessing Images for Learned Raw Denoising (Google Research, CVPR 2019 paper)
- [Paper](https://arxiv.org/pdf/1811.11127v1.pdf)
- [Code](https://github.com/google-research/google-research/tree/master/unprocessing)
- Deep Image Prior (CVPR 2018 paper)
- [Paper](https://arxiv.org/pdf/1711.10925v4.pdf)
- [Code](https://github.com/DmitryUlyanov/deep-image-prior)
- 歪斜轉正
- [(補)很多星星數的Paddle OCR](https://github.com/PaddlePaddle/PaddleOCR)
- [上面的paper](https://arxiv.org/pdf/1603.03915v2.pdf)
- [文本傾斜校正的兩種方法（Python-OpenCv）
](https://www.twblogs.net/a/5d145f2cbd9eee1e5c8260f4)
- [Skew and slant correction for document images using gradient direction](https://www.researchgate.net/publication/3710583_Skew_and_slant_correction_for_document_images_using_gradient_direction)
- Instance Segmentation :star:
- Pointly-Supervised Instance Segmentation (2021, Facebook AI)
- [Paper](https://arxiv.org/pdf/2104.06404)
- [Code](https://github.com/facebookresearch/detectron2/tree/master/projects/PointSup)
- CV 相關技術：
- erosion
- dilation
- 輪廓偵測：霍夫直線
- [Fourier Contour Embedding for Arbitrary-Shaped Text Detection](https://paperswithcode.com/paper/fourier-contour-embedding-for-arbitrary)
- projection
- 2020 年的大 papers:
- https://www.kdnuggets.com/2021/01/top-10-computer-vision-papers-2020.html

## 大家做的功課

- LILI
1. 圖像處理：去噪、去反光
- Single Image Reflection Removal through Cascaded Refinement (隨便找的一篇論文)
2. 圖像分割：這樣證件感覺可以裁切得更好
- https://github.com/lkeab/BCNet
- https://github.com/bowenc0221/boundary-iou-api

- Erik
- 1. 綜合CTC和attention的優點： ACE：Aggregation Cross-Entropy for Sequence Recognition
- 論文：https://arxiv.org/pdf/1904.08364.pdf
- code：https://github.com/summerlvsong/Aggregation-Cross-Entropy
- 2. 手寫辨識：
- 論文：https://arxiv.org/pdf/1505.04925.pdf
- code：(應該是ＸＤ)https://github.com/chongyangtao/DeepHCCR
- 3. 驗證碼:
- 論文(超多):https://arxiv.org/pdf/2006.11373.pdf
因為有很多種類的驗證碼，他都獨立寫成一章
- code:https://github.com/Jimut123/CAPTCHA

- Eagle
- 技術
- 中文的OCR
- 圖像偵測、分割
- 場景
- 文件類型OCR
- 文字文句分割(文件類型的行列分割)

- 昱睿
- 切割與校正: 我在想要不要針對證件實驗一下 segmentation 然後在梯形校正
- 去反光
- 這邊有好多 paper with codes: https://paperswithcode.com/task/reflection-removal
- https://github.com/alex04072000/ObstructionRemoval
- 怎麼提升轉正比率？

- 沛筠
- 借鑑(?)
- https://github.com/handong1587/handong1587.github.io/blob/master/_posts/deep_learning/2015-10-09-ocr.md