Mesin telusur hanya dapat menampilkan halaman di hasil penelusuran jika halaman tersebut tidak memblokir pengindeksan secara eksplisit oleh crawler mesin telusur. Beberapa header HTTP dan tag meta memberi tahu crawler bahwa halaman tidak boleh diindeks.
Hanya blokir pengindeksan untuk konten yang tidak ingin Anda tampilkan di hasil penelusuran.
Kegagalan audit pengindeksan Lighthouse
Lighthouse menandai halaman yang tidak dapat diindeks oleh mesin telusur:
![Audit Lighthouse yang menunjukkan mesin telusur tidak dapat mengindeks halaman Anda](https://developer.chrome.com/static/docs/lighthouse/seo/is-crawlable/image/lighthouse-audit-showing-7e7f828021977.png?authuser=19&hl=id)
Lighthouse hanya memeriksa header atau elemen yang memblokir semua crawler
mesin telusur. Misalnya, elemen <meta>
di bawah mencegah semua crawler mesin telusur (juga dikenal sebagai robot) mengakses halaman Anda:
<meta name="robots" content="noindex"/>
Header respons HTTP ini juga memblokir semua crawler:
X-Robots-Tag: noindex
Anda mungkin juga memiliki elemen <meta>
yang memblokir crawler tertentu, seperti:
<meta name="Googlebot" content="noindex"/>
Lighthouse tidak menggagalkan audit untuk perintah khusus crawler seperti ini, tetapi tetap dapat membuat halaman Anda lebih sulit ditemukan. Jadi, gunakanlah dengan hati-hati. Lighthouse akan memberikan peringatan jika perintah khusus crawler memblokir bot pengindeksan umum.
Cara memastikan mesin telusur dapat meng-crawl halaman Anda
Pertama, pastikan Anda ingin mesin telusur mengindeks halaman. Beberapa halaman, seperti peta situs atau konten hukum, umumnya tidak boleh diindeks. (Perlu diingat bahwa memblokir pengindeksan tidak mencegah pengguna mengakses halaman jika mereka mengetahui URL-nya.)
Untuk halaman yang ingin diindeks, hapus header HTTP atau elemen <meta>
yang memblokir crawler mesin telusur. Bergantung pada cara Anda menyiapkan situs,
Anda mungkin perlu melakukan beberapa atau semua langkah di bawah:
- Hapus header respons HTTP
X-Robots-Tag
jika Anda menyiapkan header respons HTTP:
X-Robots-Tag: noindex
- Hapus tag meta berikut jika ada di bagian head halaman:
<meta name="robots" content="noindex">
- Hindari tag meta yang memblokir crawler tertentu jika tag ini ada di head halaman. Contoh:
<meta name="Googlebot" content="noindex">
Tambahkan kontrol tambahan (opsional)
Anda mungkin menginginkan lebih banyak kontrol atas cara mesin telusur mengindeks halaman Anda. Misalnya, Anda mungkin tidak ingin Google mengindeks gambar, tetapi ingin sisa halaman diindeks.
Untuk informasi cara mengonfigurasi elemen <meta>
dan header HTTP
untuk mesin telusur tertentu, lihat panduan berikut: