# [music] Mood analysis: step 1

Choix d'une première approche ML (voir ticket #52).

## Materials & Methods

**Database:** https://mtg.github.io/mtg-jamendo-dataset/

### Ground-truth

**Chosen moods:** https://docs.google.com/spreadsheets/d/1JXI5_DijT5ie0_KL967zlW3EGPGiB99tnYVRw3g9R7A/edit#gid=0

**Stats:**
Voir fichier joint "MTG_Jamendo_mood_stats.txt"

### Features

Utilisation des features bas niveau disponibles avec librosa.

**Liste des features:**
- MFCC
- RMS
- Spectral bandwidth
- Spectral centroid
- Spectral contrast
- Spectral flatness
- Spectral rolloff
- Tempo
- Tonnetz? (slow to compute)
- Zero crossing rate

**Time pooling:**
- Mean
- Std
- Skewness and kurtosis? (pas utiliées pour le moment)

**Nombre total de features :** 65

## Experiments/discussion

- Un SVM (linéaire) par mood à détecter
- Class-weight = balanced
- Pas de feature selection ni de compression
- métrique de référence = balanced accuracy (BACC)

1) Résultats disponibles dans le fichier ci-joint "step1_results.csv".

| min | max | median | mean |
| ------- | ------- | ------- | ------- |
| 0.53540 | 0.86100 | 0.62785 | 0.63690 |
*Table 1 : Statistiques sur les balanced accuracies obtenues*

*Figure 1 : Résultats en fonction de chaque mood.*

Résultats médiocres, mais les classifieurs font systématiquement mieux que l'aléatoire.

2) Corrélation entre BACC et nombre de cas positifs ?

*Figure 2 : BACC en fonction du nombre d'échantillons positifs pour chaque classe. La ligne rouge montre une absence de corrélation entre les deux.*

Absence de corrélation entre BACC et nombre d'échantillons positifs pour chaque classe (p=0.99).

## Conclusion

Résultats médiocres avec une approche très simple.

**Future works :**
- feature selection
- artlist (plus de cas positifs/classe, labels mieux définis ?)
- projection des sentiments dans un espace (2D ?) [1]
- approche CNN
- pooling des prédictions dans le temps
- classification de genre
- ajustement du seuil de détection positive (plus tard, quand un meilleur modèle aura été trouvé)

## Références
[1] Seo, Y. S., & Huh, J. H. (2019). Automatic emotion-based music classification for supporting intelligent IoT applications. Electronics, 8(2), 164.