SEO & Pemasaran Digital
Apa itu Crawling?
Juga disebut perayapan, penjelajahan, crawl.
Definisi singkat
Crawling adalah proses robot mesin pencari, seperti Googlebot, menemukan dan mengunduh halaman web dengan mengikuti tautan dan sitemap; halaman yang belum dijelajahi belum bisa diindeks dan ditampilkan di hasil pencarian.
Cara robot menemukan halaman
Tidak ada daftar pusat semua halaman di web. Googlebot menemukan URL baru dari tautan di halaman yang sudah dikenalnya, dari sitemap yang dikirim pemilik situs, dan dari sumber lain. Setelah mengunduh halaman, Google juga merendernya, termasuk menjalankan JavaScript, agar isinya terlihat seperti di peramban biasa.
Apa yang menghambat crawling
Server yang lambat atau sering galat membuat Google mengurangi laju penjelajahan agar tidak membebani situs. Aturan robots.txt yang terlalu luas bisa memblokir bagian penting. Halaman yang hanya bisa dicapai lewat kotak pencarian, atau tautan yang dibuat dengan skrip tanpa elemen tautan HTML biasa beserta alamatnya, sulit ditemukan. Isi yang baru muncul setelah login tidak akan dijelajahi.
Crawl budget dan situs perusahaan
Crawl budget, yaitu berapa banyak halaman yang dijelajahi Google dalam rentang waktu tertentu, terutama menjadi persoalan bagi situs yang sangat besar atau yang isinya berubah sangat cepat. Untuk website perusahaan dengan puluhan sampai ribuan halaman, masalahnya lebih sering halaman yang tidak ditautkan dari mana pun atau galat server. Laporan statistik crawling di Search Console membantu melihatnya. Laporan itu menunjukkan jumlah permintaan per hari, waktu respons server, dan jenis galat yang ditemui Googlebot.
Istilah terkait
Sumber
- Google Search Central: In-depth guide to how Google Search works (developers.google.com)
- Google: Overview of Google crawlers and fetchers (developers.google.com)