Keterangan Gambar Otomatis Berbahasa Indonesia Menggunakan Cnn Dan Lstm Dengan Attention Halaman Judul

Abstract

Image captioning adalah proses untuk menghasilkan satu kalimat atau lebih untuk menjelaskan konten visual dari suatu gambar. Image Captioning bermanfaat untuk membantu kegiatan manusia memahami konten visual seperti keterangan pada citra medis, interaksi manusia dengan robot dan membantu mendeskripsikan gambar kepada tunanetra. Untuk menghasilkan deskripsi dari suatu gambar, diperlukan gabungan dua bidang ilmu, yaitu computer vision dan natural language processing. Tujuan dari penelitian ini adalah untuk menghasilkan deskripsi gambar (caption) berbahasa Indonesia. Untuk mencapai tujuan penelitian, peneliti menggunakan lima metodologi dalam penelitian yaitu pengumpulan data, preprocessing, pembuatan model, evaluasi, dan eksperimen. Penelitian dilakukan dengan menggunakan dataset gambar dari MS COCO. Metode yang digunakan dalam penelitian adalah CNN dan LSTM dengan attention untuk membangun model. Dalam penelitian ini, didapatkan dua model dengan ekstraksi fitur yang berbeda, yaitu Model 1 dengan ekstraksi fitur InceptionV3 dan Model 2 dengan ekstraksi fitur VGG16. Caption yang dihasilkan dievaluasi dengan skor BLEU dan pada Model 1 mampu memperoleh skor BLEU {1, 2, 3, 4} sebesar {34.93, 22.55, 14.75, 10.15} sedangkan untuk Model 2 memiliki skor {22.02, 14.29, 9.41, 6.28}. Model yang dibangun dengan LSTM cenderung lebih baik daripada model yang dibangun dengan GRU.