# AR中文字典 - 漢字小時候
###### tags: `Unity` `Software` `Project`
AR Chinese Dictionary - Chinese Character in Childhood
12 / 2018
CKfablab 林楚卿數位構築實驗室

專案主持人：林楚卿
專案設計師：任敬葭

*- 07 / 2022 更新 -*

## 簡介
《漢字的小時候》是一款以AR技術辨識漢字並呈現其「小時候」樣貌的手機APP，希望抓住漢字「象形」的特色，充分呈現出漢字「如畫」的美感。

藉由圖像化的呈現，強化初學中文的使用者對各個漢字的圖面印象，並了解形象與其含意的連結，更期待能夠提升中文學習者的學習效率，讓中文學習可以輕鬆上手。

漢字是富含意象的文字，學習漢字應該以更多的圖像取代文字說明，讓學習中文的初學者可以對於漢字複雜的外型產生興趣。

## 版本
(目前只能夠辨識**標楷體 BiauKai**)

**2018 ver. 1 beta**
Unity開發版本：2017.3.0f3
共50字 可查詢

包含：
水、火、山、木、林、果、栗、人、舟、華、
貝、車、刀、門、韭、手、竹、瓜、禾、川、
其、斤、州、末、本、左、右、亦、桑、年、
斧、周、片、立、生、休、買、采、刪、爭、
利、帚、相、來、學、大、元、齊、重、智。

**2022 ver. 2 beta**
Unity開發版本：2020.3.270f1
共100字 可查詢

包含2018 ver. 1 beta之50字
並另新增50字

包含：
雨、雲、回、田、雷、電、光、陽、陣、彩、
日、月、旦、明、星、望、天、夜、上、下、
閒、問、悶、開、關、絲、賣、寶、仙、棵、
口、心、目、見、覺、步、走、奔、出、分、
巴、爬、想、羽、毛、尾、魚、子、米、知。

(2022 ver. 2 beta新增的50字，為小一小二生字表中之選字)

**【檔案】辨識之字卡&呈現之動畫**
* [字卡 100](https://www.dropbox.com/sh/nfykpzn5vuzg1c7/AACibtohsRpTwMvGbH2Eh-TPa?dl=0)
* [動畫 100](https://www.dropbox.com/sh/i18plwprxmmwtun/AAAM-2THB_3Hqi6_Kyxrc0TMa?dl=0)

## 漢字研究
### 六書造字原則
**六書**是中國造字的原則︰象形、指事、形聲、會意、轉注、假借。

**<象形>**
字與所代表的事物很相似，例如︰月、魚 。

**<指事>**
以象徵性的符號表示意義，例如︰

┴ =橫劃上面有一條垂直線，代表上
┬ =橫劃下面有一條垂直線，代表下

**<形聲>**
字可以分成類屬和聲符，例如︰

銅=**金**(金屬)+**同**(讀音)
桐=**木**(植物)+**同**(讀音)

不過，一些形聲字的聲符和讀音有所分別，例如︰
**洞**(音動)跟**同**(聲符)的發音不同。

**<會意>**
由兩個或多個獨體字組成，以所組成的字形或字義，合併起來表達此字的意思。
字的意思與組成字的部分有關，例如︰

信=**人**+**言**︰消息 (別人所講的話)
焚=**木**+**木**+**火**︰燃燒 (將兩塊木放在火上)

采=**爪+木：**採果子(以指爪採木上之果子)

**<轉注>**
轉注有不同的解釋：一是「形轉」，二是「義轉」，三是「音轉」。

**<假借>**
假借就是同音替代。一些難以用象形、指事、會意、形聲來表達的概念，往往使用假借之法，使該概念不致於無字可寫，例如：

來：本意麥，後來表示「來去」

**Reference**
http://rthk9.rthk.hk/chiculture/1minchinese/01_13.htm

### 實用資訊
**查詢系統**
[國際電腦漢字及異體字知識庫](https://chardb.iis.sinica.edu.tw/)
[漢字源流 | 中華語文知識庫](http://chinese-linguipedia.org/search_source.html)

**推薦頻道**
[【Youtube】中華語文知識庫](https://www.youtube.com/user/GACCcp/videos)
[【Youtube】《漢字》瑣瑣碎碎](https://www.youtube.com/channel/UCV2I5tgSTohgc1arciTwVRQ/videos)

**推薦書單**
[漢字樹](http://best100club.com/hanzitree/#p5)

## Unity AR technical resources
### Vuforia
[Vuforia Developer Portal](https://developer.vuforia.com/)

**操作教學**
[Unity2020中使用Vuforia開發擴增實境AR APP教學](https://otaru.tw/archive/tutorial/using-vuforia-with-unity3d-making-ar-app-tutorial)
[【Youtube】Vuforia Engine: How to Create Image Targets](https://www.youtube.com/watch?v=Z4bBMpa4xWo)

### AR foundation
Unity Editor需2019.4.15f1以上版本。
[AR Foundation | 4.1.10 - Unity - Manual](https://docs.unity3d.com/Packages/com.unity.xr.arfoundation@4.1/manual/index.html)

**操作教學**
[AR foundation 開發環境設置](https://hackmd.io/6uo-DWrUQiuKZyEbmiybCg)
[Image Trtacking - Multiple Objects C# Script](https://hackmd.io/tZUWu4cqRfitX32mmV6nwA?view)

[【Youtube】Unity & AR Foundation](https://www.youtube.com/playlist?list=PL6VJLOFcTt7awvyIGIbLLPOBrW6-Y1R-J)
[【Youtube】AR Foundation Improved Image Tracking - Multiple Objects/Images](https://www.youtube.com/watch?v=I9j3MD7gS5Y)

## Machine Learning resources
- image classification
- text recognition
- Chinese character recognition

In order to make this AR project recognize words in different fonts, there are some ways to use machine learning tools in Unity projects.
### Unity ML-Agents Toolkit
[Unity Machine Learning Agents](https://unity.com/products/machine-learning-agents)

[【Github】ml-agents](https://github.com/Unity-Technologies/ml-agents)

### Unity TensorFlow Plugin
[Object Detection and ARFoundation in Unity](https://medium.com/@shaqian629/object-detection-and-arfoundation-in-unity-8782b1ee6ea3)
[【Github】TF-Unity](https://github.com/shaqian/TF-Unity)

[How to use Pre-trained TensorFlow/Keras models with Unity ML-agents](https://medium.com/@aneeshpanoli/how-to-use-a-pre-trained-tensorflow-keras-models-with-unity-ml-agents-bee9933ce3c1)
[How to Build Your Tensorflow/Keras Model into an Augmented Reality App](https://towardsdatascience.com/how-to-build-your-tensorflow-keras-model-into-an-augmented-reality-app-18405c36acf5)
[【Github】TensorFlowSharp](https://github.com/migueldeicaza/TensorFlowSharp)

### Unity Barracuda
[Introduction to Barracuda](https://docs.unity3d.com/Packages/com.unity.barracuda@1.0/manual/index.html)

[【Youtube】Machine Learning Models in Unity with Barracuda: Image Classification](https://www.youtube.com/watch?v=LhzKfx2kuDs)
[【Github】Barracuda-Image-Classification](https://github.com/Third-Aurora/Barracuda-Image-Classification)
[【Youtube】Intro to Machine Learning in Unity with Barracuda](https://www.youtube.com/watch?v=ggmArUbRvC4)

### Other Notes
**ONNX**
[【Github】ONNX Model Zoo](https://github.com/onnx/models#image_classification)
[淺談ONNX交換格式](https://ithelp.ithome.com.tw/articles/10210800)

**Traditional Chinese Handwriting Dataset**
[【Github】AI-FREE-Team / Traditional-Chinese-Handwriting-Dataset](https://github.com/AI-FREE-Team/Traditional-Chinese-Handwriting-Dataset)

**Azure**
[Microsoft Azure](https://azure.microsoft.com/zh-tw/)
[【教學】Azure Custom Vision｜如何在邊緣裝置上實作物件辨識
](https://blog.cavedu.com/2019/09/30/azure-custom-vision/)

**Google ML kit**
[ML Kit | Google Developers](https://developers.google.com/ml-kit/guides)

**OpenVINO**
[OpenVINO™ toolkit Documentation - OpenVINO Toolkit](https://docs.openvino.ai/2019_R2/index.html)

**OpenCV**
[【python】opencv 2小時初學者教學 ｜ 影像辨識 ｜ 影像處理 ｜ 人臉辨識 ｜ 電腦視覺](https://www.youtube.com/watch?v=xjrykYpaBBM&t=613s)