OPTIMASI METODE SCRAPING DATA PRODUK DARI PLATFORM TOKOPEDIA.COM

Abstrak

Tingkat keefisienan dalam pengumpulan data produk dari platform e-commerce, seperti Tokopedia.com, telah menjadi tantangan karena memiliki tampilan dan data yang dinamis. Dalam upaya untuk mengatasi kendala ini, penelitian ini bertujuan untuk mengoptimalkan metode scraping data produk pada Tokopedia.com, dengan fokus pada pencarian yang cepat dan efisien. Dalam konteks platform e-commerce yang dinamis seperti Tokopedia.com, dimana jumlah produk terus meningkat, metode pengumpulan data manual telah terbukti tidak efektif dan memakan waktu. Oleh karena itu, penelitian ini mengusulkan solusi melalui penggunaan metode scraping yang dioptimalkan dengan cara memanfaatkan dari kecepatan request http dan memanfaatkan pergerakan yang dinamis mengunakan ilmu dari Robotic Process Automation (RPA). Dari hasil penelitian metode Asynchronous Playwright HTTPX lebih efektif untuk digunakan bedasarkan jumlah data, durasi waktu, dan penggunaan sumber daya, Metode HTTPX berhasil mengambil jumlah data (750 data), durasi waktunya (20 menit 34 detik), Sedangkan Metode Asynchronous Playwright HTTPX mencapai hasil dalam jumlah data yang sangat besar (8228 data) dengan durasi waktu (21 menit 7 detik). Berdasarkan penggunaan sumber daya Metode HTTPX memerlukan penggunaan sumber daya yang rendah, termasuk tingkat penggunaan CPU (2,1%), RAM (83,0%), dan Paket Internet (108.34 MB) yang rendah, Sedangkan Metode Asynchronous Playwright HTTPX tetap efisien dalam penggunaan sumber daya, dengan penggunaan CPU (29,2%), RAM (82,8%) dan Paket Internet (1,19 GB).