Implementasi Retrieval Augmented Generation (RAG) Multimodal Sebagai Sistem Rekomendasi Berbasis Teks dan Gambar di Platform E- Commerce

Abstract

Penelitian ini menjawab tantangan pada platform e-commerce, di mana sistem pencarian tradisional seringkali gagal memahami niat pengguna yang kompleks dan mengabaikan aspek visual produk, sehingga menciptakan friksi. Untuk mengatasinya, dirancang dan dievaluasi sebuah sistem rekomendasi end-to-end berbasis arsitektur Retrieval-Augmented Generation (RAG) Multimodal yang bertujuan menciptakan pengalaman belanja konsultatif. Sistem ini diimplementasikan sebagai aplikasi web dengan empat mode pencarian, menggunakan model SigLIP untuk embedding, Gemini 2.5 Pro untuk generasi respons, dan database vektor PostgreSQL+pgvector. Evaluasi mixed-methods digunakan untuk mengukur performa sistem. Secara kuantitatif, fitur RAG Multimodal terbukti unggul pada seluruh metrik retrieval (misalnya, nDCG@10 mencapai 0.86) terhadap 60 kueri ground truth. Kualitas jawaban RAG juga sangat tinggi, dengan skor Faithfulness 0.90 dan Answer Relevance 0.80, yang mengindikasikan respons yang faktual dan relevan. Secara kualitatif, melalui metode Think-Aloud Protocol dan wawancara, partisipan secara universal memilih asisten RAG sebagai fitur yang paling bermanfaat. Temuan kunci menunjukkan bahwa RAG berhasil mengubah paradigma interaksi dari "mencari" menjadi "berkonsultasi," terutama pada skenario pencarian yang ambigu dan eksploratif. Kemampuan sistem untuk memberikan rekomendasi yang terjustifikasi secara signifikan mengurangi beban kognitif dan membangun kepercayaan pengguna. Penelitian ini mengonfirmasi bahwa RAG Multimodal tidak hanya merupakan solusi teknis yang lebih unggul, tetapi juga mampu menghadirkan pengalaman pengguna yang superior dan terpersonalisasi dalam ekosistem e-commerce modern.