Pengembangan Chatbot WhatsApp Berbasis Retrieval-Augmented Generation (RAG) dan OpenAI untuk Penyediaan Jawaban Akurat dari Dokumen Aturan Organisasi
DOI:
https://doi.org/10.30872/atasi.v5i1.3472Keywords:
Chatbot, WhatsApp, Retrieval-Augmented Generation, OpenAI, ASNAbstract
Akses terhadap dokumen aturan organisasi yang tersebar dan tidak terstruktur masih menjadi kendala bagi Aparatur Sipil Negara (ASN) dalam memperoleh informasi secara cepat dan akurat. Penelitian ini bertujuan mengembangkan chatbot WhatsApp berbasis Retrieval-Augmented Generation (RAG) dan model bahasa OpenAI untuk memberikan jawaban otomatis yang relevan berdasarkan dokumen aturan organisasi. Sistem dikembangkan dalam dua modul utama, yaitu gateway WhatsApp dan sistem RAG, masing-masing terdiri atas backend dan frontend. Backend WhatsApp menangani autentikasi sesi serta pengiriman dan penerimaan pesan, sedangkan frontend berfungsi memantau status koneksi dan aktivitas pesan secara real-time. Backend RAG memproses pertanyaan pengguna dengan melakukan pencarian semantik terhadap dokumen yang telah dikonversi menjadi representasi vektor, sementara frontend memungkinkan admin mengelola dokumen secara otomatis. Integrasi kedua sistem dilakukan melalui tagar khusus dengan komunikasi antarmodul menggunakan API dan Socket.IO. Evaluasi kuantitatif dilakukan menggunakan metrik F1 Score, BLEU Score, dan ROUGE-L. Hasil menunjukkan performa sistem yang baik, dengan rata-rata F1 Score sebesar 0,80, BLEU Score 0,54, ROUGE-L Precision 0,76, Recall 0,88, dan F1 Score 0,81. Nilai-nilai tersebut menunjukkan kesesuaian tinggi antara jawaban chatbot dan referensi dokumen, baik dari segi akurasi maupun struktur kalimat. Dengan demikian, integrasi teknologi RAG dan OpenAI dalam chatbot WhatsApp terbukti efektif sebagai solusi akses informasi kepegawaian secara otomatis dan efisien.
References
Ahwan, M. A., Abiadhoh, N., Kusuma, A. B., & Alam, U. F. (2024). Pembangunan WhatsApp Chatbot sebagai layanan kecerdasan buatan di Perpustakaan UIN Walisongo Semarang. Berkala Ilmu Perpustakaan dan Informasi, 20(1), 119-132. https://doi.org/10.22146/bip.v20i1.7043
Fink, A., Nattenmüller, J., Rau, S., et al. (2025). Retrieval-augmented generation improves precision and trust of a GPT-4 model for emergency radiology diagnosis and classification: a proof-of-concept study. European Radiology. https://doi.org/10.1007/s00330-025-11445-z
Hadinata, W., & Stianingsih, L. (2025). Implementation of natural language processing on chatbot for tourist information services (Case study: Serang City). INFOKUM, 13(2), 227–236. https://doi.org/10.58471/infokum.v13i02
Jin, J., Wang, W., Li, Z., & Sun, Y. (2024). LongRefiner: Efficient Long-Context RAG via Hierarchical Refinement and Multi-Task Learning. Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL). https://github.com/ignorejjj/LongRefiner
Johnson, J., Douze, M., & Jégou, H. (2019). Billion-scale similarity search with GPUs. IEEE Transactions on Big Data. https://arxiv.org/abs/1702.08734
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., ... & Riedel, S. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. arXiv preprint arXiv:2005.11401. https://arxiv.org/abs/2005.11401
Li, Z., Wang, Z., Wang, W., Hung, K., Xie, H., & Wang, F. L. (2025). Retrieval‑Augmented Generation for Educational Application: A Systematic Survey. Computers and Education: Artificial Intelligence, 8, Article 100417. https://doi.org/10.1016/j.caeai.2025.100417
Manihuruk, C. (2024). Lingkungan kerja dan aturan organisasi terhadap kinerja karyawan. Jurnal Bisnis dan Ekonomi, 2(1), 74–82. https://doi.org/10.61597/jbe-ogzrp.v2i1.17
Mujib, H., Permatasari, A. P., Maryamah, A. M., & Walidah, A. N. (2025). The education on the use of Mobile Maslahah for new customers through WhatsApp at Bank Jabar Banten Syariah Sub-Branch Office Banjar City. https://doi.org/10.59966/bnj0cz95
Oro, E., Granata, F. M., Lanza, A., Bachir, A., De Grandis, L., & Ruffolo, M. (2023). Evaluating Retrieval-Augmented Generation for Question Answering with Large Language Models. In CEUR Workshop Proceedings (Vol. 3762). CEUR-WS.org. Retrieved from https://iris.cnr.it/retrieve/5b673a72-40a9-4ea5-ad4f-4083fe1cecf1/495.pdf
Pergantis, P., Bamicha, V., Skianis, C., & Drigas, A. (2025). AI Chatbots and Cognitive Control: Enhancing Executive Functions Through Chatbot Interactions: A Systematic Review. Brain Sci, 15(1), 47. https://doi.org/10.3390/brainsci15010047
Pokhrel, S., K C, B., & Shah, P. B. (2024). A practical application of retrieval-augmented generation for website-based chatbots: Combining web scraping, vectorization, and semantic search. Journal of Trends in Computer Science and Smart Technology, 6(4), 424–442. https://doi.org/10.36548/jtcsst.2024.4.007
Pradeep, R., Thakur, N., Sharifymoghaddam, S., Zhang, E., Nguyen, R., Campos, D., Craswell, N., & Lin, J. (2024). Ragnarök: A reusable RAG framework and baselines for TREC 2024 retrieval-augmented generation track (arXiv:2406.16828). arXiv. https://doi.org/10.48550/arXiv.2406.16828
Puthiyaveetil, A. S. (2024). How AI-Powered Chatbots Empowering the Telecom Industry to Deliver Exceptional Customer Experiences. IEEE Xplore. https://doi.org/10.10157423
Rackauckas, Z. (2024). RAG‑Fusion: A New Take on Retrieval‑Augmented Generation. International Journal on Natural Language Computing, 13(1), 37–47. https://arxiv.org/abs/2402.03367
Saputra, A. F., & Harefa, K. (2025). Penerapan Metode Natural Language Processing (NLP) dalam Implementasi Asisten Virtual Chatbot dengan Memanfaatkan API ChatGPT dan Gradio App. JORAPI: Journal of Research and Publication Innovation, 3(1), 1-15. https://jurnal.portalpublikasi.id/index.php/JORAPI/article/view/1332
Downloads
Published
Issue
Section
License
Copyright (c) 2026 Adopsi Teknologi dan Sistem Informasi (ATASI)
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
