# Mất cân bằng dữ liệu trong mô hình gian lận thẻ tín dụng
# Imbalanced Training Data for Credit Risk Model

## Bài toán Imbalanced Dataset
- Thế nào là imbalanced data?

Ngoài ra, mất cân bằng dữ liệu nghiêm trọng thường dẫn tới dự báo kém chính xác trên nhóm thiểu số. Bởi đa phần kết quả dự báo ra thường thiên về 1 nhóm là nhóm đa số và rất kém trên nhóm thiểu số. Trong khi tầm quan trọng của việc dự báo được chính xác một mẫu thuộc nhóm thiểu số lớn hơn nhiều so với dự báo mẫu thuộc nhóm đa số. Để cải thiện kết quả dự báo chúng ta cần những điều chỉnh thích hợp để mô hình đạt được một độ chính xác cao trên nhóm thiểu số.

Mất cân bằng dữ liệu nhìn chung là vấn đề phổ biến của bài toán phân lớp. Cho ví dụ về bài toán phân loại nhị phân (binary classification). Trong trường hợp tỉ lệ giữa 2 classes là `50:50` thì được coi là cân bằng. Còn khi có sự khác biệt giữa 2 classes trong phân phối, chẳng hạn ở tỉ lệ `80:20` thì dữ liệu xảy ra hiện tượng mất cân bằng.

Trở lại với tập dữ liệu dự đoán nợ thẻ tín dụng được lấy từ cuộc thi Home Credit Default Risks trên Kaggle. Có thể thấy tỉ lệ giữa 2 classes có sự chênh lệch lớn:

train['TARGET'].value_counts()

0 282686
1 24825
Name: TARGET, dtype: int64


Mẫu xảy ra hiện tượng mất cân bằng nghiêm trọng vì tỷ lệ `trả được nợ: không trả được nợ` là `282686:24825`, xấp xỉ `92:8`.

- Ảnh hưởng của imbalanced data tới mô hình dự đoán

Đối với những trường hợp tập dữ liệu mất cân bằng nhẹ ở tỉ lệ `60:40` thì ít ảnh hưởng nhiều tới kết quả dự đoán của mô hình. Còn nếu ở tỉ lệ `90:10` tức tập dữ liệu đang xảy ra hiện tượng mất cân bằng dữ liệu trầm trọng thì có khả năng cao dẫn tới sai lệch khi đánh giá chất lượng mô hình.

Hơn nữa, vấn đề mất cân bằng dữ liệu nghiêm trọng còn dẫn đến dự đoán kém chính xác trên nhóm thiểu số (minority class). Bởi vì mô hình khả năng cao cho ra kết quả dự đoán thuộc về nhóm đa số (majority class), ít khả năng thuộc về nhóm thiểu số. Trong khi mục đích chính cần dự đoán được chính xác một mẫu thuộc về nhóm thiểu số, tức class `không trả được nợ`.

Để cải thiện kết quả dự báo chúng ta cần những điều chỉnh thích hợp để mô hình đạt được một độ chính xác cao trên nhóm thiểu số.

Những điều chỉnh cần thiết giúp cải thiện hiệu năng dự báo của mô hình trong trường hợp xảy ra mất cân bằng nghiêm trọng là gì? Có những phương pháp nào để đối phó với hiện tượng mất cân bằng mẫu nghiêm trọng? Bài viết này tôi sẽ cung cấp một góc nhìn toàn cảnh về các giải pháp chung để giải quyết vấn đề này.

Để cải thiện kết quả dự đoán trong trường hợp mất cân bằng dữ liệu, trong bài viết này, nhóm 3 xin trình bày về phương pháp cụ thể để giải quyết vấn đề này trong mô hình dự đoán nợ thẻ tín dụng.

## Một số phương pháp dùng để giải quyết bài toán
1. Thay đổi metric đánh giá --> auc, f1-score phù hợp hơn so với accuracy, precise
2. Thử các thuật toán khác nhau --> so sánh chọn thuật toán phù hợp
3. Resampling tập dữ liệu --> SMOTE (Synthetic Minority Over-sampling Technique)

## Kết luận