Klasifikasi pesan pelanggan menggunakan model hybrid IndoBERT-BiLSTM-CNN (Studi Kasus: Sistem komunikasi Balai Besar Standardisasi dan Pelayanan Jasa Industri Tekstil)

Abstract

Perkembangan komunikasi digital menyebabkan meningkatnya volume pesan pelanggan yang diterima oleh instansi pelayanan publik, termasuk Balai Besar Standardisasi dan Pelayanan Jasa Industri Tekstil (BBSPJIT). Pesan pelanggan yang diterima melalui WhatsApp, Email, dan WebChat umumnya bentuk teks dengan susunan kalimat, panjang pesan, serta penggunaan bahasa formal maupun informal yang beragam. Selain itu, proses klasifikasi pesan masih dilakukan secara manual sehingga proses pengolahan pesan menjadi kurang efisien dan berpotensi menimbulkan kesalahan. Penelitian ini bertujuan untuk menerapkan model jaringan saraf hybrid IndoBERT-BiLSTM-CNN dalam klasifikasi pesan pelanggan BBSPJIT berdasarkan isi, konteks, dan kategori layanan, serta menganalisis performa model tersebut. Penelitian dilakukan menggunakan data pesan pelanggan BBSPJIT periode Januari hingga Desember 2024 sebanyak 1.132 data setelah proses seleksi dan preprocessing. Tahapan penelitian meliputi preprocessing data, pelabelan kategori layanan, tokenisasi, proses training model, serta evaluasi menggunakan accuracy, precision, recall, dan F1-score. Model dikembangkan menggunakan PyTorch dengan optimizer AdamW dan diuji menggunakan data testing hasil pembagian stratified split dengan rasio 0.7:0.1:0.2. Hasil penelitian menunjukkan bahwa model IndoBERT-BiLSTM-CNN mampu mengklasifikasikan pesan pelanggan ke dalam enam kategori layanan dengan baik. Model terbaik memperoleh nilai accuracy sebesar 95,59%, precision sebesar 95,66%, recall sebesar 95,59%, dan F1-score sebesar 95,59%. Hasil tersebut menunjukkan bahwa model mampu memahami pola dan konteks pesan pelanggan secara efektif sehingga dapat membantu proses klasifikasi pesan pelanggan secara otomatis dan lebih konsisten di BBSPJIT.