Enhancing Customer Experience Through a Hybrid Machine Learning Approach to Sentiment Analysis of Sumut Link Mobile

Abstract

Perkembangan perbankan digital telah memudahkan transaksi keuangan tanpa perlu melakukan kunjungan langsung ke kantor cabang, sehingga turut mendorong inklusi keuangan yang lebih luas. Bank Sumut memperkenalkan Sumut Link Mobile sebagai solusi perbankan digital untuk mempermudah transaksi di daerah terpencil melalui agen lokal dalam program Laku Pandai. Meskipun memiliki potensi yang besar, masih terdapat berbagai tantangan, seperti keterbatasan literasi digital, keandalan sistem, serta tingkat kepuasan agen yang bervariasi. Penelitian ini menggunakan analisis sentimen terhadap komentar hasil wawancara semi-terstruktur dari agen Sumut Link, dengan menerapkan klasifikasi Naïve Bayes, Random Forest, dan Support Vector Machine (SVM) serta menggunakan SentiWordNet untuk meningkatkan polaritas sentimen. Hasil penelitian menunjukkan bahwa sentimen netral mendominasi sebesar 66,3%, sementara sentimen negatif sebesar 17,4% berkaitan dengan kendala login, keterlambatan sistem, dan fitur yang belum lengkap. Adapun sentimen positif sebesar 16,3% menyoroti kecepatan transaksi dan kemudahan akses di wilayah pedesaan. Model SVM menunjukkan performa terbaik dengan tingkat akurasi sebesar 80% dan nilai ROC AUC 0,71. Hasil penelitian ini memberikan wawasan mengenai faktor-faktor yang memengaruhi pengalaman agen, yang didasarkan pada Technology Acceptance Model (TAM) dalam aspek kegunaan dan kemudahan penggunaan. Penelitian ini menekankan perlunya peningkatan teknis serta pelatihan bagi agen. Dengan menghubungkan metrik kegunaan berbasis analisis sentimen terhadap konstruk TAM, yaitu perceived usefulness dan perceived ease of use, penelitian ini menunjukkan bahwa analitik dapat digunakan secara proaktif untuk mendukung manajemen pengalaman pelanggan, serta mengoptimalkan strategi perbankan digital melalui peningkatan kepercayaan dan keterlibatan agen di Sumatera Utara.

The evolution of digital banking has facilitated financial transactions without physical branch visits, contributing to broader financial inclusion. Bank Sumut introduced Sumut Link Mobile, a digital banking solution to streamline transactions in remote areas via local agents under the Laku Pandai program. Despite its potential, challenges such as limited digital literacy, system reliability, and varying agent satisfaction persist. This study utilizes sentiment analysis on semi-structured interview comments from Sumut Link agents, employing Naïve Bayes, Random Forest, and Support Vector Machine classifiers with SentiWordNet for polarity enhancement. Findings reveal dominant neutral sentiments (66.3%), with negatives (17.4%) linked to login issues, delays, and incomplete features, and positives (16.3%) highlighting transaction speed and rural access. SVM achieved top performance (80% accuracy, 0.71 ROC AUC). Results provide insights into factors influencing agent experience, grounded in the Technology Acceptance Model (TAM) for usability, emphasizing needs for technical upgrades and training. By linking sentiment-derived usability metrics to TAM constructs (perceived usefulness and ease of use), this research demonstrates how analytics can proactively inform customer experience management, optimizing digital banking strategies through enhanced agent trust and engagement in North Sumatra.