---
# System prepended metadata

title: 論文誌論文 実験設定

---

# 論文誌論文 実験設定
- ニュース記事コーパスで事前学習を行ったpretrained modelを用いた マルチラベル分類
    - 3つの入力手法
- Wikipediaで事前学習を行ったpretrained modelを用いた マルチラベル分類
    - 3つの入力手法
    - シーケンス長を変えた
- 2値分類を組み合わせた分類
    - 1つの入力手法しか試していない
    - ニュース記事コーパスで事前学習を行ったもの


# 論文でどの順序で説明するか
1. 事前学習につかうコーパス2種
2. 分類モデル2種（2値分類のペアワイズ、マルチラベル）
3. 入力手法3種

- 比較をどの順番でしていくか
    - もし全通り比較するなら12通り
    - 例えば、最初にコーパスをどちらかに決めれば6通りに減る    


比較したかったこと
- 事前学習のコーパスが精度に大きな影響を与えるのか
    - 転移先がニュース記事なので，ニュース記事コーパスを用いた方が精度が良い
- マルチラベルモデルと2値分類
    - 事前学習済みモデルはニュース記事に固定
    - 入力手法を1つに固定しました．
        - 前後の文脈を考慮しない
        - 議論の余地があるが，マルチラベル分類の方が精度が良く出た．
            - 手間がかからなく，若干良い精度が出ているため，この手法を採用する．
- 入力手法が与える影響
    - 入力手法を固定しました．
    - ニュース記事コーパス・wikipediaコーパス共に，前後の文脈を考慮した入力手法の精度が良く出た．
- シーケンス長が与える影響
    - 128
    - 256

## 議論の余地有
- クラスの不均衡をこうりょするために，otherラベルからランダムにサンプリングを行った．
    - 複数回，検証行った時に，結果が異なることがあった．
    - マルチラベル分類とペアワイズの比較はサンプリングの差によるものがあるかもしれない．


- シーケンス長512, バッチサイズ 4 <- おちない　2048
- シーケンス長512, バッチサイズ 32 <- おちる（colabでもtrain）16384
- シーケンス長128，バッチサイズ 32 <- おちない 4096
- シーケンス長256，バッチサイズ 32 <- おちない 8192