Lewati ke konten utama
Legia

SEO & Pemasaran Digital

Apa itu Crawling?

Juga disebut perayapan, penjelajahan, crawl.

Definisi singkat

Crawling adalah proses robot mesin pencari, seperti Googlebot, menemukan dan mengunduh halaman web dengan mengikuti tautan dan sitemap; halaman yang belum dijelajahi belum bisa diindeks dan ditampilkan di hasil pencarian.

Cara robot menemukan halaman

Tidak ada daftar pusat semua halaman di web. Googlebot menemukan URL baru dari tautan di halaman yang sudah dikenalnya, dari sitemap yang dikirim pemilik situs, dan dari sumber lain. Setelah mengunduh halaman, Google juga merendernya, termasuk menjalankan JavaScript, agar isinya terlihat seperti di peramban biasa.

Apa yang menghambat crawling

Server yang lambat atau sering galat membuat Google mengurangi laju penjelajahan agar tidak membebani situs. Aturan robots.txt yang terlalu luas bisa memblokir bagian penting. Halaman yang hanya bisa dicapai lewat kotak pencarian, atau tautan yang dibuat dengan skrip tanpa elemen tautan HTML biasa beserta alamatnya, sulit ditemukan. Isi yang baru muncul setelah login tidak akan dijelajahi.

Crawl budget dan situs perusahaan

Crawl budget, yaitu berapa banyak halaman yang dijelajahi Google dalam rentang waktu tertentu, terutama menjadi persoalan bagi situs yang sangat besar atau yang isinya berubah sangat cepat. Untuk website perusahaan dengan puluhan sampai ribuan halaman, masalahnya lebih sering halaman yang tidak ditautkan dari mana pun atau galat server. Laporan statistik crawling di Search Console membantu melihatnya. Laporan itu menunjukkan jumlah permintaan per hari, waktu respons server, dan jenis galat yang ditemui Googlebot.

Layanan Legia terkait SEO Perbaikan teknis, penataan konten, dan pencarian lokal yang diukur sampai permintaan masuk.