Penerapan Arsitektur Efficient Net V2 Pada 3D CNN dalam Pengenalan Bahasa Isyarat Menggunakan Mediapipe dan Segmentasi Citra (Studi Kasus : Bahasa Isyarat Indonesia (BISINDO))

Abstract

Berdasarkan hasil long form Sensus Penduduk tahun 2020, ditemukan besaran prevalensi untuk gangguan pendengaran adalah sebesar 0,36% pada penduduk berumur 5 tahun ke atas yang terjadi lebih banyak pada penduduk perempuan dibandingkan penduduk laki-laki. Oleh karena itu, diperlukan pengetahuan terhadap cara komunikasi non verbal agar komunikasi antara masyarakat tunarungu dan masyarakat yang tidak memiliki gangguan pendengaran dapat berjalan efektif. Indonesia memiliki dua sistem bahasa isyarat, yaitu Bahasa Isyarat Indonesia dan Sistem Isyarat Bahasa Indonesia yang memiliki perbedaan gerakan pada beberapa kosakata. Tidak semua masyarakat tunarungu menerima Sistem Isyarat Bahasa Indonesia ditetapkan sebagai isyarat baku nasional karena tidak merepresentasikan bahasa isyarat asli Indonesia dan terdapat berbagai bentuk isyarat yang tidak sesuai dengan isyarat yang berkembang di masyarakat tunarungu karena banyak mengadopsi pada sistem isyarat Amerika. Berangkat dari permasalahan tersebut, penelitian ini akan berfokus pada pengembangan sistem deteksi bahasa isyarat, khususnya Bahasa Isyarat Indonesia dengan menggunakan 3D convolutional neural network dengan arsitektur EfficientNetV2. Sampel yang digunakan terdiri dari 10 kosakata sehari-hari, yaitu “Aku”, “Apa”, “Baru”, “Lama”, “Maaf”, “Malas”, “Nama”, “Selamat Pagi”, “Senang”, dan “Terima Kasih”. Sampel ini digunakan karena kosakata tersebut merupakan kata-kata yang sering digunakan dalam percakapan sehari-hari yang mencakup sapaan, ungkapan perasaan, dan kata deskripsi sehingga cocok digunakan sebagai sampel sistem pengenalan bahasa isyarat yang akan dibuat. Sistem ini mengandalkan mediapipe, segmentasi citra, dan gabungan keduanya dalam pemrosesan gambar/frame yang dihasilkan dari dataset berupa video. Diantara ketiga model tersebut, model dari dataset gabungan menjadi model yang terbaik dengan tingkat akurasi Macro F1-Score sebesar 92,0% pada data validation serta mampu memprediksi data baru yang belum pernah dilihat oleh model yang terlihat pada tingkat akurasi Macro F1-Score pada data test sebesar 92,3%.