Perbedaan Kinerja TextBlob dan Transformer AyameRushia BERT dalam Pelabelan Sentimen: Studi Kasus Sentimen Publik Kebijakan Tapera

Isnaini Muhandhis, Alven Safik Ritonga, Anisa Nur Azizah

Abstract


Dalam analisis sentimen, pendekatan berbasis pengolahan bahasa alami memiliki peranan yang signifikan. Dua metode yang sering digunakan untuk pelabelan sentimen adalah TextBlob dan model berbasis Transformer seperti AyameRushia BERT. Penelitian ini bertujuan untuk membandingkan kinerja TextBlob dan AyameRushia BERT dalam pelabelan sentimen publik terhadap kebijakan Tapera. Perbandingan ini dilakukan untuk mengidentifikasi kelebihan dan kekurangan masing-masing metode dalam konteks analisis sentimen. Metode penelitian meliputi pengumpulan data, preprocessing data, klasifikasi sentimen dengan mengukur nilai akurasi, precision, recall dan F1-score, kemudian membandingkan kinerja kedua metode tersebut. Hasil penelitian ini menunjukkan bahwa performa TextBlob dan AyameRushia dalam menganalisis sentimen menunjukkan perbedaan yang signifikan. TextBlob memiliki akurasi sebesar 63% dengan kelemahan utamanya terletak pada kelas negatif, di mana recall hanya mencapai 28%.  Adapun model Transformer AyameRushia menunjukkan performa yang jauh lebih unggul dengan akurasi 87%. Model ini mampu memberikan hasil yang lebih seimbang di ketiga kelas, dengan nilai F1-score tertinggi pada kelas negatif 91%.

Keywords


anotasi; labeling; klasifikasi; bert; analisis sentimen

Full Text:

PDF

References


D. Ratna and R. Abidin, “Analisis Sentimen Masyarakat Indonesia Terhadap Kebijakan Program Tapera Menggunakan Brand24,” LogicLink, pp. 120–131, 2024.

M. Ulfanur, A. Asysyura, M. Isra, and E. Eryani, “Kebijakan Pemerintah terhadap Tapera di Indonesia; Analisis Prinsip Ekonomi Syariah,” Jurisprudensi: Jurnal Ilmu Syariah, Perundang-Undangan Dan Ekonomi Islam, vol. 16, no. 1, pp. 277–293, 2024.

P. Suanpang, P. Jamjuntr, and P. Kaewyong, “Sentiment analysis with a TextBlob package implications for tourism,” Journal of Management Information and Decision Sciences, vol. 24, pp. 1–9, 2021.

I. G. S. M. Diyasa, N. M. I. M. Mandenni, M. I. Fachrurrozi, S. I. Pradika, K. R. N. Manab, and N. R. Sasmita, “Twitter sentiment analysis as an evaluation and service base on python textblob,” in IOP Conference Series: Materials Science and Engineering, 2021, p. 12034.

M. A. A. Yani and W. Maharani, “Analyzing Cyberbullying Negative Content on Twitter Social Media with the RoBERTa Method,” JINAV: Journal of Information and Visualization, vol. 4, no. 1, pp. 61–69, 2023.

D. S. S. U. Menyelesaikan and A. M. Kusuma, “TEKS GENERASI PUISI INDONESIA MELALUI PENDEKATAN FINE-TUNING DENGAN PRETRAINED MODEL GPT-2”.

V. Bonta, N. Kumaresh, and N. Janardhan, “A comprehensive study on lexicon based approaches for sentiment analysis,” Asian Journal of Computer Science and Technology, vol. 8, no. S2, pp. 1–6, 2019.

D. Nariman, “Sentiment analysis of hotel reviews using lexicon-based methods: A comparative study of VADER and TextBlob,” in International Conference on Broadband and Wireless Computing, Communication and Applications, 2024, pp. 263–274.

K. Perdana, T. Pricillia, and Z. Zulfachmi, “Optimasi TextBlob Menggunakan Support Vector Machine untuk Analisis Sentimen (Studi Kasus Layanan Telkomsel),” Jurnal Bangkit Indonesia, vol. 10, no. 1, pp. 13–15, 2021.

R. Merdiansah, S. Siska, and A. A. Ridha, “Analisis sentimen pengguna X Indonesia terkait kendaraan listrik menggunakan IndoBERT,” Jurnal Ilmu Komputer dan Sistem Informasi (JIKOMSI), vol. 7, no. 1, pp. 221–228, 2024.

E. D. Harahap and R. Kurniawan, “Analisis Sentimen Komentar terhadap Kebijakan Pemerintah Mengenai Tabungan Perumahan Rakyat (TAPERA) pada Aplikasi X menggunakan Metode Na"ive Bayes,” Jurnal Teknik Informatika UNIKA Santo Thomas, pp. 166–175, 2024.

A. Sitanggang, Y. Umaidah, and R. I. Adam, “Analisis sentimen masyarakat terhadap program makan siang gratis pada media sosial X menggunakan algoritma Na"ive Bayes,” Jurnal Informatika Dan Teknik Elektro Terapan, vol. 12, no. 3, 2024.

R. Siringoringo, J. Jamaludin, and others, “Text mining dan klasterisasi sentimen pada ulasan produk toko online,” Jurnal Teknologi Dan Ilmu Komputer Prima (JUTIKOMP), vol. 2, no. 1, pp. 314–319, 2019.

T. Wang, K. Lu, K. P. Chow, and Q. Zhu, “COVID-19 sensing: negative sentiment analysis on social media in China via BERT model,” Ieee Access, vol. 8, pp. 138162–138169, 2020.


Refbacks

  • There are currently no refbacks.


Copyright (c) 2025 Isnaini Muhandhis, Alven Safik Ritonga, Anisa Nur Azizah

Creative Commons License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.