Lewati ke konten utama
Legia

SEO & Pemasaran Digital

Apa itu Robots.txt?

Juga disebut robots.txt, berkas robots, robots exclusion protocol.

Definisi singkat

Robots.txt adalah berkas teks di akar domain yang memberi tahu crawler mesin pencari bagian mana dari website yang boleh dan tidak boleh dijelajahi; berkas ini mengatur penjelajahan, bukan pengindeksan.

Cara kerjanya

Berkas ini selalu berada di alamat tetap, misalnya domainanda.com/robots.txt. Isinya kelompok aturan: User-agent menyebut crawler yang dituju, Disallow menyebut jalur yang tidak boleh dijelajahi, dan Allow membuat pengecualian. Lokasi sitemap juga bisa dicantumkan di sini. Crawler yang mematuhi standar membacanya sebelum menjelajah, sedangkan crawler berniat buruk bisa mengabaikannya begitu saja.

Tidak mencegah halaman masuk indeks

Ini kesalahpahaman yang paling sering. Google menegaskan robots.txt bukan cara untuk menjauhkan halaman dari hasil pencarian. Halaman yang diblokir masih bisa terindeks bila ditautkan dari tempat lain, dan tampil tanpa deskripsi. Untuk mencegah pengindeksan, pakai noindex atau lindungi halaman dengan kata sandi. Noindex hanya bekerja bila halamannya tidak diblokir robots.txt, karena Google harus bisa membaca halaman untuk melihat aturan itu.

Juga bukan alat keamanan

Isi robots.txt bisa dibaca siapa saja. Mencantumkan alamat panel admin atau folder rahasia di sana justru memberi tahu orang luar letaknya. Halaman sensitif dilindungi dengan login dan pengaturan akses di server. Satu lagi kesalahan klasik: aturan Disallow untuk seluruh situs yang terbawa dari server staging ke website produksi. Setiap kali website baru tayang, buka berkas ini sekali untuk memastikan isinya benar.

Layanan Legia terkait SEO Perbaikan teknis, penataan konten, dan pencarian lokal yang diukur sampai permintaan masuk.