Pengembangan Chatbot Berbasis RAG untuk Optimalisasi Layanan Informasi Terpadu pada Website Statistika Universitas Islam Indonesia (Studi Kasus: Bidang Statistika)

Abstract

Penelitian ini bertujuan untuk mengembangkan chatbot berbasis Retrieval- Augmented Generation (RAG) guna mengoptimalkan layanan informasi terpadu pada website Program Studi Statistika Universitas Islam Indonesia (UII). Permasalahan utama yang dihadapi adalah kesulitan pengguna dalam menemukan informasi spesifik akibat penyebaran konten pada berbagai halaman website sehingga diperlukan sistem yang mampu memberikan jawaban secara cepat, akurat, dan kontekstual. Sumber data penelitian dibatasi pada informasi yang terdapat pada halaman visi misi, tujuan, dan sejarah website Statistika UII. Metode yang digunakan adalah pendekatan RAG yang menggabungkan proses retrieval dan generation. Data dikumpulkan melalui scraping pada web Statistika UII menggunakan Python kemudian diproses melalui tahapan indexing meliputi data loading, chunking, embedding, dan penyimpanan pada vector database Pinecone. Sistem dikembangkan menggunakan platform n8n dengan integrasi model Large Language Model (LLM) Mistral Medium. Evaluasi dilakukan menggunakan semantic similarity, metrics, persentase jawaban benar, uji McNemar, serta User Acceptance Test (UAT) dengan metode System Usability Scale (SUS). Hasil pengujian menunjukkan bahwa chatbot memiliki tingkat semantic similarity rata- rata sebesar 0,95 yang menunjukkan kesamaan makna yang sangat tinggi antara jawaban chatbot dan ground truth. Nilai F1-score sebesar 0,76 menunjukkan performa yang baik dalam kesesuaian kata. Selain itu, chatbot berbasis RAG memperoleh persentase jawaban benar sebesar 100%, sedangkan chatbot berbasis LLM memperoleh 0%. Hasil uji McNemar menunjukkan nilai χ 2 hitung = 20 lebih besar dari χ 2 tabel = 18.307 sehingga terdapat perbedaan yang signifikan antara performa chatbot berbasis RAG dan LLM tanpa RAG. Hasil UAT juga menunjukkan bahwa sistem berada pada kategori “Good” dan dapat diterima oleh pengguna.