Studi Eksplorasi Metode Pengenalan Emosi Untuk Deteksi Multi-emosi Dalam Entri Jurnal

Abstract

Penelitian ini bertujuan untuk mengatasi tantangan dalam deteksi emosi berbasis teks, khususnya pada kasus multi-emosi atau dalam metodenya disebut multilabel emosi di mana satu teks dapat mengekspresikan kombinasi emosi yang kompleks, serta masalah ketidakseimbangan label minoritas dalam data. Untuk mencapai tujuan ini, penelitian melakukan eksplorasi mendalam terhadap karakteristik dan kinerja berbagai model machine learning dan deep learning berbasis transformer. Metodologi penelitian dimulai dengan pengumpulan data dari dataset publik "Journal Entries with Labelled Emotions" yang berisi 1473 entri dengan 18 kategori emosi. Pada penelitian ini, dilakukan generative oversampling menggunakan LLM GPT-4o yang menghasilkan 500 data sintetis, untuk mengatasi ketimpangan data, sehingga total menjadi 1.973 data. Penelitian membandingkan performa empat model machine learning (Naïve Bayes, Logistic Regression, SVM, RFC) berbasis TF- IDF dan empat model deep learning berbasis transformer (BERT, BERT-LSTM, RoBERTa, DistilBERT). Evaluasi model dilakukan secara komprehensif dengan berbagai metrik akurasi (Jaccard Accuracy, Subset Accuracy, Label-wise Accuracy), Precision, Recall, F1-Score, Confusion Matrix, dan Inference Time. Pada kategori machine learning dan deep learning menggunakan data asli, seluruh model menunjukkan performa yang kurang baik pada data uji. Hasil teknik generative oversampling secara signifikan meningkatkan kinerja seluruh model, baik machine learning maupun deep learning, karena model menjadi lebih baik dalam mengatasi ketidakseimbangan kelas dan memprediksi label minoritas secara lebih merata. Dalam kategori machine learning, model SVM menunjukkan performa paling unggul, dengan Jaccard Accuracy 0.45 dan mencapai Macro F1-Score tertinggi 0.64 setelah oversampling, dan juga relatif cepat dalam membuat prediksi (4-12 milidetik). Untuk kategori deep learning, semua model menunjukkan peningkatan kinerja setelah oversampling, dengan Macro F1-Score berkisar antara 0.67-0.69. Secara spesifik, RoBERTa dengan Jaccard Accuracy 0.50 unggul dalam pemerataan prediksi emosi, termasuk label minoritas yang sulit dikenali, sedangkan DistilBERT menjadi yang tercepat dalam waktu inferensi (sekitar 15 milidetik).