---
tags: COTAI LHP
---

# Capstone project
Student name: Triệu Gia Huy
Class: 12CT1
Project name: Emotion Music Recommendation

## *Mục tiêu*
- Tạo ra được một demo app có thể gợi ý được nhạc dựa trên cảm xúc
- Cách thức hoạt động của demo app:
- Nhận diện được khuôn mặt người dùng để dự đoán cảm xúc
- Từ những dự đoán đó mà có thể đưa ra 1 list gợi ý nhạc phù hợp
- Scope of work: Ưu tiên hoàn thành phần tìm dataset và huấn luyện mô hình, tích hợp và deploy app hoặc website. Phần cải thiện accuracy của model sẽ được bắt đầu sau khi đã hoàn thành được những mục tiêu chính.
- Sau project này, em sẽ có thêm kinh nghiệm trong việc xử lí video, hình ảnh, có thể deploy demo app, và tích lũy thêm kinh nghiệm sắp xếp thời gian cho dự án.

## *Schedule*

|Deadline (2022) | Task | Status |
| -------- | -------- |--------|
| 27/3 $\rightarrow$ 1/4 | Tìm ý tưởng cho project|Đã hoàn thành|
|2/4 $\rightarrow$ 10/4|Tìm kiếm pre-trained model và dataset|Đã hoàn thành|
|10/4 $\rightarrow$ 13/4|Train được model dự đoán cảm xúc dựa trên khuôn mặt|Đã hoàn thành|
|13/4 $\rightarrow$ 20/4|Chạy demo được model dự đoán nhạc|Đã hoàn thành|
|20/4 $\rightarrow$ Ngày thuyết trình|Hoàn thiện dự án: deploy model thành một demo app, tạo slide trình bày|Đã làm được demo web nhưng chưa hoàn thành vì giật lag|

## *Giới thiệu ngắn gọn*
**Project Description:** Ngày nay, công nghệ đã phát triển nên những bài nhạc cũng đã được sản xuất rất nhiều khiến cho ta khó chọn lựa, vì thế ứng dụng AI này sẽ giúp ta dễ dàng chọn lựa bài hát phù hợp với cảm xúc hiện tại của ta dựa vào nhận diện cảm xúc qua khuôn mặt.
- Dataset:
- Nhận diện cảm xúc (7 cảm xúc): [FER2013](https://www.kaggle.com/datasets/msambare/fer2013?datasetId=786787&sortBy=voteCount)
- [Nhạc theo cảm xúc](https://drive.google.com/drive/folders/1T_AtDpb7xoDcRIgINdaqeLwQPH8U8pzm?usp=sharing)
- [Model](https://github.com/serengil/deepface/blob/master/deepface/extendedmodels/Emotion.py)
- [Pre-trained weight](https://github.com/serengil/deepface_models/releases/download/v1.0/facial_expression_model_weights.h5)
- [Github](https://github.com/huyg1108/music-recommender)
- [Slide](https://hackmd.io/@trieugiahuy/B1P1wBSvc?type=slide#/)
## *Các Checkpoint về kết quả đã đạt được*
### Checkpoint 8/6/2022
#### What have I done:
* Đã train được model phân loại cảm xúc và chạy riêng model để dự đoán cảm xúc
* Đã tạo được demo web bằng Flask (nhưng chưa chạy được)

#### To-do list until next checkpoint
* Cải thiện và tối ưu model để không gặp tình trạng giật lag nữa
* Hoàn thành slide báo cáo và demo app