# Tokenizer
## Week 29

----

## 說文解字

Byte 位元組
Character 字元
Word 單字、詞
Vocabulary 字典

----

## Byte

例如 `"Apple"` 可以表示成

`0x41/0x70/0x70/0x6C/0x65`

等 5 個位元組，每個英文字母佔 1 Byte

----

## Byte

若是中文的「蘋果」則為

`0xE8/0x98/0x8B/0xE6/0x9E/0x9C`

等 6 個位元組，每個中文字佔 3 Bytes

----

## Character

例如 `"Apple"` 可以分解成

`A/p/p/l/e` 等 5 個字元

而「蘋果」則是 2 個字元

----

## Word

例如 `"I have an apple"` 可以分解成

`I/have/an/apple` 等 4 個單字

----

## Chinese Word?

「我有一顆蘋果」可以分解成

`我有/一顆/蘋果`
`我/有/一/顆/蘋果`

不同定義下有不同的切法
這在中文也稱為
「斷詞 (Word Segmentation)」

----

## Token

Token 資訊歷史上最難翻譯的一個單字
比較理想的翻譯是「詞元」

若是當成 API Token 則會翻成「令牌」
但兩者的用法情境是不同的

----

## Token

Tokenize 動詞，指分詞這個動作
Tokenization 名詞，指分詞的過程
Tokenizer 名詞，分詞器、詞元分析器

----

## 什麼是 Token

介在 Byte 與 Word 之間的單位
例如 `Apple` 可能是 1 個獨立的 Token

而 `Pineapple` 則可能被分解成
`Pine` 跟 `##apple` 兩個 Tokens

----

## Too Many Tokens

UTF-8 編碼可以表示九萬多種中日韓字元
整個 Unicode 包含了約 14 萬個字元
更遑論這些字元可以合併成更多單字詞

對模型訓練而言，這樣會產生非常高的維度
使模型尺寸相當大，難以訓練

----

## Byte-Level Token

把 Token 的單位縮減到 Byte-Level
就能在 256 個 Tokens 內表達所有文字

但是「文本壓縮率」就會很低
「我有一顆蘋果」需要 18 個 Tokens 來表示

----

## Tokenizer Training

透過一些統計的技巧
在字典大小與文本壓縮率之間取得平衡

除此之外，還要能夠應對未知詞
Out-of-Vocabulary, OOV

---

# 訓練演算法

----

## 演算法種類

Character/Word-Level

Unigram

Word-Piece

Byte-Pair Encoding (BPE)

----

## Char/Word-Level

直接以字元/單字為單位
最單純的做法
不適合中日韓文字

----

## Unigram

統計單字詞之間的機率
介在 Char-Level 與 Word-Level 之間
比較能夠表達 OOV 文字

----

## Word-Piece

先將所有文本分析成 Words
再把每個 Word 拆解成 Pieces

例如已經有了 `photo, graphy` 兩字
則遇到 `photography` 可拆解成
`photo, ##graphy` 兩個 Tokens

----

## Byte-Pair Encoding

先把所有文本拆解成 Bytes
再把常常出現的 Byte-Pair 組合在一起

例如已經有了 `a, g, h, o, p, r, t, y` 等
`photo` 很常配在一起，合併成一個 Token
`graphy` 很常配在一起，合併成另一個 Token

---

# 訓練工具

----

## 開源套件

[Hugging Face - Tokenizers](https://github.com/huggingface/tokenizers) (HF Tokenizer)

[Google - SentencePiece](https://github.com/google/sentencepiece) (SPM)

----

## 準備文本

可以參考國科會 TAIDE 計畫的[訓練資料](https://taide.tw/public/trainData)

或者 Hugging Face Hub 上的[繁體中文維基](https://huggingface.co/datasets/bigscience-data/roots_zh-tw_wikipedia)

----

## Parquet 格式

[Apache Parquet](https://parquet.apache.org/) 是一種
**Column-Oriented** 的資料格式
具有不錯的壓縮率與讀寫速度
對機器學習相關任務相當友善

壓縮率 Gzip > Parquet >>> Raw
讀寫速度 Parquet > Raw >>> Gzip

----

## Parquet 使用方法

寫入檔案

import pandas as pd

dataset = [
    dict(id=0, text="Hello"),
    dict(id=1, text="Hi"),
]

dataset = pd.DataFrame(dataset)
dataset.to_parquet("dataset.parquet")

讀取檔案

import pandas as pd

dataset = pd.read_parquet("dataset.parquet")
print(dataset)

----

## 將資料存為純文字格式

import pandas as pd

data = pd.read_parquet("wiki.parquet")

with open("Raw.txt", "wt", encoding="UTF-8") as fp:
    for text in data["text"][:1000]:
        fp.write(text.strip())
        fp.write("\n\n")

----

## 透過 HF Tokenizers 訓練

from tokenizers import Tokenizer, models, trainers

model = models.BPE(byte_fallback=True, unk_token="[UNK]")
trainer = trainers.BpeTrainer(special_tokens=["[UNK]"])

tokenizer = Tokenizer(model)

files = ["Raw.txt"]
tokenizer.train(files, trainer)
tokenizer.save("Tokenizer.json")

----

## 透過 SentencePiece 訓練

spm_train --input=Raw.txt --model_prefix=spm-model/tk --model_type=bpe

----

## Tokenizer 生態系

SPM 可以被轉成 HF Tokenizer

HF Tokenizer 可以跟 Transformers 一起訓練

但 HF Tokenizer 比較難被轉回 SPM