###### tags: `linux`
:::info
**此次修改**
1. 引入 jieba 自訂 dic
- 從 data.json 擷取 key 產生
2. 文章主題分析
- 使用 gensim LSI model 建立文本主題分析模型
- 建立計算機文章 Corpus
- 能做到分辨"計算機"意思為 電腦 或 計算機

**未來展望**
1. 結合 word2vec 模組自行產生指定 topic 相關文字組成 corpus，topic 使用上會更加有彈性
2. 使用 wikiCorpus 作為訓練提升準確度
3. 移除爬蟲網頁內容不需要的資訊增加辨識精準度
:::
# 文章主題分析
[TOC]
## 檔案使用方式(training_tool)
- 位置: backend/static/training_tool
- `data_prepare.py {訓練資料檔名}`
- 產出 cleaned_training_data.datset
- 為去除無用符號、替換同義字、斷詞後 dataset
- `train_prepare.py `
- 產出用於擴充套建 .dic(dictionary) .lsi(lsi model) .mm(corpus) 的模型

## 提升準確度
根據 LSI 輸出主題檢查有無無意義內容
- 移除 Corpus 中的不必要內容(數字、符號)
- EX: topic 出現無關乎主題標點符號
- 
- 在資料前處理時先過濾(replace)，讓 topic 判斷更準確
- 增加 stop_word 檔案中的內容
- EX: 出現 NLP 中常被視為無意義之「你、我、他、您」
- EX: 因為訓練資料有些從社群網站(Dcard)擷取，所以「年、月、日」會有高機率出現
- 

- 將其設為 stop word 將其增加在 stop_word.txt(stop_word.txt 引用自 [讓中文斷詞不要悲劇](https://speakerdeck.com/fukuball/head-first-chinese-text-segmentation?slide=41)) 在訓練時從 Corpus 移除

- 調整 LSI 模型中的 num_topic 的數量
- 用於判斷文章相似度的 topic 數量
- 因為網站內容的擷取是使用爬蟲，會帶有很多高頻率出現卻非關網頁文章的內容，發現將 topic 數量家大會增加準確度
- 就個人感覺就像是機器學習中增加 feature 可以提升準確率的概念
- 結果上 20, 30 都符合標準(computer_doc 相似度 > 0.7, 其餘 < 0.7)，但因為擔心爬下來的網頁內容垃圾訊息太多會影響準確度，所以選擇 30 多設定一些 topic 數
- EX: 

- `num_topics = 10`
- `num_topics = 20`
- `num_topic = 30`

## 成果
- 文章意義偏向電腦相關文意 --> 電腦
- 文章意義非電腦相關 --> (不翻)計算機

## 參考文獻
- [以 jieba 與 gensim 探索文本主題：五月天人生無限公司歌詞分析 ( II)
](https://medium.com/pyladies-taiwan/%E4%BB%A5-jieba-%E8%88%87-gensim-%E6%8E%A2%E7%B4%A2%E6%96%87%E6%9C%AC%E4%B8%BB%E9%A1%8C-%E4%BA%94%E6%9C%88%E5%A4%A9%E4%BA%BA%E7%94%9F%E7%84%A1%E9%99%90%E5%85%AC%E5%8F%B8%E6%AD%8C%E8%A9%9E%E5%88%86%E6%9E%90-ii-fdf5d3708662)
- [斷句不要悲劇](https://speakerdeck.com/fukuball/head-first-chinese-text-segmentation?slide=41)
- 引用 word_net.txt
- 引用 stop_word.txt