---
# System prepended metadata

title: 모델링 및 결과분석
tags: [Dataset]

---

# 모델링 및 결과분석
###### tags: `Dataset`

## 데이터 분리 
train 80% test20%로 분리했다. (seed:42)

- Train의 분포(총 317개)
![](https://i.imgur.com/jKlqGXU.png)

- Test의 분포 (총 80개)
![](https://i.imgur.com/2jxNDtU.png)



## F1-score : 80
### 파라미터
```python
MODEL_NAME = "klue/bert-base"
  training_args = TrainingArguments(
    output_dir='./results',          # output directory
    save_total_limit=5,              # number of total save model.
    save_steps=500,                 # model saving step.
    num_train_epochs=10,              # total number of training epochs
    learning_rate=5e-5,               # learning_rate
    per_device_train_batch_size=16,  # batch size per device during training
    per_device_eval_batch_size=16,   # batch size for evaluation
    warmup_steps=500,                # number of warmup steps for learning rate scheduler
    weight_decay=0.01,               # strength of weight decay
    logging_dir='./logs',            # directory for storing logs
    logging_steps=100,              # log saving step.
    evaluation_strategy='steps', # evaluation strategy to adopt during training
                                # `no`: No evaluation during training.
                                # `steps`: Evaluate every `eval_steps`.
                                # `epoch`: Evaluate every end of epoch.
    eval_steps = 500,            # evaluation step.
    load_best_model_at_end = True 
  )
```
- Train F1-Score : 99
- Inference F1-Score : 80

Train F1-score가 99까지 오른것을 보면 
과적합된 것일 수도 있을 것 같다. 모델을 줄이거나 
epoch을 줄이는게 좋아보임 

Inference F1-Score가 80인것을 보면 우리의 문제가 
그렇게 어렵진 않다는 것을 알 수 있음 


## 결과 분석


[스프레드 시트 링크](https://docs.google.com/spreadsheets/d/1J4muPO9fCY0cm3ECfZEAkXaQE-1NNURC6KK9Ysbk-OY/edit?usp=sharing)

- 생각보다 기술과 서비스를 그렇게 헷갈려하진 않음

#### 틀린것 (총 16개)
![](https://i.imgur.com/jqGtbZh.png)
#### 년도/일을 잘 못맞춘다.
- 출시일과 개발일로 잘못예측하는 경우가 많았음 
- 정작 진짜 '기술:개발일'은 못맞춘다. 
- 상관없는걸 날짜로 예측한 것 5개 
    개발일을 이상한 것으로 예측한거 3개 -> 총 8개가틀림
    
#### 틀린 비율은 얼마나 될까?
![](https://i.imgur.com/lHcLhVy.png)

![](https://i.imgur.com/2jxNDtU.png)

서비스:출시주체 : 3/11
기술:정의 : 2/16
인물:개발기술 : 4/16
기술:개발일 : 3/5
기술:하위기술 : 1/13
기술:개발단체 : 1/3
서비스:기반기술 : 0/6
서비스:출시일 : 0/2

**오우야;; '기술:하위기술'과 '서비스:기반기술' 엄청 잘 구분**

근데 소름돋는게 train 분포를 보면
- Train의 분포(총 317개)
![](https://i.imgur.com/jKlqGXU.png)

하위기술, 기반기술이 많아서 잘 맞추는거일수도...?


# 새로운 데이터
### F1 65
- no_relations들이 너무 어려운거아닌가?
- https://docs.google.com/spreadsheets/d/1mPE9MaaNbBS_NzT6bN-40LlBuUWnlRwmKIyQ-oeuGj8/edit#gid=1599938288