Rancang Bangun Kacamata Multimodalitas Berbasis Machine Learning dan Natural Language Processing untuk Membantu Komunikasi Penyandang Tunarungu-Wicara

Abstract

Penyandang tunarungu-wicara rentan menghadapi hambatan komunikasi dan risiko keselamatan ketika berada di ruang publik karena ketidakmampuan merespons peringatan suara di lingkungan sekitarnya. Penelitian ini bertujuan untuk merancang purwarupa kacamata pintar multimodalitas berbasis Machine Learning yang mengintegrasikan fitur Keyword Spotting (KWS) untuk deteksi suara darurat, mengevaluasi performa model transfer learning untuk penerjemahan bahasa isyarat visual, serta mengusulkan desain sasis 3D CAD yang ergonomis. Penelitian ini mengadopsi kerangka kerja Plan-Do- Check-Act (PDCA) untuk memastikan perbaikan sistem yang berkelanjutan. Pengembangan sistem Proof of Concept (PoC) KWS diimplementasikan secara offline menggunakan mikrokontroler edge Teensy 4.1 dengan sensor INMP441, sedangkan simulasi visual dilakukan melalui platform Edge Impulse. Hasil pengujian memvalidasi bahwa model KWS berkinerja unggul dengan tingkat akurasi mencapai 95% pada kondisi hening dan 90% pada kondisi kebisingan hingga 80 dB. Sementara itu, model transfer learning untuk deteksi visual pada smartphone menunjukkan performa optimal, namun integrasi langsungnya ke Teensy 4.1 terkendala oleh bottleneck komputasi (CPU Starvation) akibat arsitektur single-core. Evaluasi fungsional juga mengidentifikasi batasan perangkat keras, di antaranya fenomena pemerangkapan panas (thermal trapping) pada sasis cetak 3D berbahan PLA yang menaikkan suhu permukaan hingga 45°C, serta efisiensi baterai yang terbatas pada 13–15 jam operasional. Dari sudut pandang ergonomi fisik, rancangan 3D berhasil mendistribusikan titik berat komponen ke bagian belakang telinga guna meminimalisir tekanan pada hidung, dengan layar OLED yang diposisikan strategis pada area penglihatan periferal. Kesimpulannya, fungsionalitas KWS terbukti sangat layak diimplementasikan pada perangkat edge, namun pengembangan kacamata multimodalitas tahap lanjut merekomendasikan transisi menuju prosesor multi-core serta perbaikan material untuk manajemen termal.