OPTIMASI METODE SCRAPING DATA PRODUK DARI PLATFORM TOKOPEDIA.COM

Penulis

  • daffa Politenik Negeri Lhokseumawe
  • Rahmad Hidayat
  • Musta’inul Abdi

Kata Kunci:

Scraping Method, Tokopedia.com Platform, Product Data, Optimization, E-commerce

Abstrak

Tingkat keefisienan dalam pengumpulan data produk dari platform e-commerce, seperti Tokopedia.com, telah menjadi tantangan karena memiliki tampilan dan data yang dinamis. Dalam upaya untuk mengatasi kendala ini, penelitian ini bertujuan untuk mengoptimalkan metode scraping data produk pada Tokopedia.com, dengan fokus pada pencarian yang cepat dan efisien. Dalam konteks platform e-commerce yang dinamis seperti Tokopedia.com, dimana jumlah produk terus meningkat, metode pengumpulan data manual telah terbukti tidak efektif dan memakan waktu. Oleh karena itu, penelitian ini mengusulkan solusi melalui penggunaan metode scraping yang dioptimalkan dengan cara memanfaatkan dari kecepatan request http dan memanfaatkan pergerakan yang dinamis mengunakan ilmu dari Robotic Process Automation (RPA). Dari hasil penelitian metode Asynchronous Playwright HTTPX lebih efektif untuk digunakan bedasarkan jumlah data, durasi waktu, dan penggunaan sumber daya, Metode HTTPX berhasil mengambil jumlah data (750 data), durasi waktunya (20 menit 34 detik), Sedangkan Metode Asynchronous Playwright HTTPX mencapai hasil dalam jumlah data yang sangat besar (8228 data) dengan durasi waktu (21 menit 7 detik). Berdasarkan penggunaan sumber daya Metode HTTPX memerlukan penggunaan sumber daya yang rendah, termasuk tingkat penggunaan CPU (2,1%), RAM (83,0%), dan Paket Internet (108.34 MB) yang rendah, Sedangkan Metode Asynchronous Playwright HTTPX tetap efisien dalam penggunaan sumber daya, dengan penggunaan CPU (29,2%), RAM (82,8%) dan Paket Internet (1,19 GB).

Referensi

F. R. Lupi and N. Nurdin, “Analisis Strategi Pemasaran Dan Penjualan E-commerce Pada Tokopedia.com,” Jurnal Elektronik Sistem Informasi dan Komputer, vol. 2, no. 1, pp. 20–29, 2016.

H. S. P. and H. M. D. D. Ayani, “Implementasi Web Scraping untuk Pengambilan Data pada Situs Marketplace,” JUSTIN (Jurnal Sistem dan Teknologi Informasi), vol. VII, no. 4, pp. 257–262, 2019.

A. N. H. and D. A. A. M. Komarudin, “PENERAPAN TEKNIK WEB SCRAPING PADA SITUS IMDb DENGAN NODE JS,” Jurnal Siliwangi Seri Sains dan Teknologi, vol. VIII, no. 2, pp. 55–59, 2022.

M. M. R. and M. R. Z. Ohidujjaman, “Clustering Algorithm with Asynchronous Programming,” American Journal of Engineering Research (AJER), vol. VI, no. 8, pp. 286–294, 2017.

D. T. and S. B. A. S. Yondra, “Implementasi Web Scraping Untuk Mengumpulkan Informasi Produk Dari Situs E-Commerce Dan Marketplace Dengan Teknik Pemrosesan Paralel,” Coding : Jurnal Komputer dan Aplikasi, vol. X, no. 1, pp. 93–102, 2022.

M. A. D. M. M. B. T. S. and R. U. M. BANSAL, “Data Ingestion and Processing using Playwright,” Section A -Research paper, vol. XII, no. 4, pp. 7241–7246, 2023.

D. A. Puryono and I. Sa’roni, “Penerapan Robotic Process Automation (RPA) Untuk Otomatisasi Proses Penilaian Pada Aplikasi Raport Digital Raudhatul Athfal,” Jurnal Informatika dan Rekayasa Perangkat Lunak, vol. IV, no. 2, pp. 106–112, 2022.

M. Romzi and B. Kurniawan, “Pembelajaran Pemrograman Python Dengan Pendekatan Logika Algoritma,” JTIM: Jurnal TeknikInformatikaMahakarya, vol. III, no. 2, pp. 37–44, 2020.

D. B. Pratama, A. Sofwan, and Y. A. A. Soetrisno, “Implementasi Teknik Web Scraping Dan Fitur Data Eksternal Pada Sistem Informasi Dosen Penelitian Dan Pengabdian Dosen Fakultas Teknik Universitas Diponegoro,” TRANSIEN, vol. X, no. 2, pp. 292–299, 2021.

P. A. P. and L. J. V. A. Flores, “Penerapan Web Scraping Sebagai Media Pencarian dan Menyimpan Artikel Ilmiah Secara Otomatis Berdasarkan Keyword,” Majalah Ilmiah Teknologi Elektro, vol. XIX, no. 2, pp. 157–162, 2020.

Unduhan

Diterbitkan

12-10-2023

Cara Mengutip

Muhammad Daffa Al Farizi, Hidayat, R., & Musta’inul Abdi. (2023). OPTIMASI METODE SCRAPING DATA PRODUK DARI PLATFORM TOKOPEDIA.COM. Prosiding Seminar Nasional Mahasiswa Fakultas Teknologi Informasi (SENAFTI), 2(2), 1172–1181. Diambil dari https://senafti.budiluhur.ac.id/index.php/senafti/article/view/1092

Terbitan

Bagian

Artificial Intelligence