Mesin telusur hanya dapat menampilkan halaman di hasil penelusuran mereka jika halaman tersebut tidak secara eksplisit memblokir pengindeksan oleh crawler mesin telusur. Beberapa header dan meta HTTP tag memberi tahu crawler bahwa halaman seharusnya tidak diindeks.
Hanya blokir pengindeksan untuk konten yang tidak ingin Anda munculkan di hasil penelusuran.
Kegagalan audit pengindeksan Lighthouse
Halaman tanda Lighthouse yang tidak dapat diindeks oleh mesin telusur:
Lighthouse hanya memeriksa header atau elemen yang memblokir semua mesin telusur
crawler. Misalnya, elemen <meta>
di bawah mencegah semua mesin telusur
crawler (juga dikenal sebagai robot) agar tidak mengakses halaman Anda:
<meta name="robots" content="noindex"/>
Header respons HTTP ini juga memblokir semua crawler:
X-Robots-Tag: noindex
Anda mungkin juga memiliki elemen <meta>
yang memblokir crawler tertentu, seperti:
<meta name="Googlebot" content="noindex"/>
Lighthouse tidak gagal dalam audit perintah khusus crawler seperti ini, tetapi mereka dapat membuat halaman Anda semakin sulit ditemukan, jadi gunakan dengan hati-hati. Mercusuar akan memancarkan peringatan jika perintah khusus crawler memblokir bot pengindeksan umum.
Cara memastikan bahwa mesin telusur dapat meng-crawl halaman Anda
Pertama-tama, pastikan Anda ingin mesin telusur mengindeks halaman tersebut. Beberapa halaman, seperti peta situs atau konten legal, umumnya tidak boleh diindeks. (Ingatlah bahwa memblokir pengindeksan tidak mencegah pengguna mengakses halaman jika mereka mengetahui URL-nya.)
Untuk halaman yang ingin Anda indeks, hapus header HTTP atau elemen <meta>
yang memblokir crawler mesin telusur. Bergantung pada cara Anda menyiapkan situs,
Anda mungkin perlu melakukan beberapa atau semua langkah di bawah ini:
- Hapus header respons HTTP
X-Robots-Tag
jika Anda menyiapkan HTTP header respons:
X-Robots-Tag: noindex
- Hapus tag meta berikut jika ada di bagian head halaman:
<meta name="robots" content="noindex">
- Hindari tag meta yang memblokir crawler tertentu jika tag ini ada di pada bagian atas halaman. Contoh:
<meta name="Googlebot" content="noindex">
Tambahkan kontrol tambahan (opsional)
Anda mungkin ingin memiliki kontrol lebih besar terhadap cara mesin telusur mengindeks halaman Anda. Misalnya, mungkin Anda tidak ingin Google mengindeks gambar, tetapi Anda ingin bagian lain halaman terindeks.
Untuk mengetahui informasi tentang cara mengonfigurasi elemen <meta>
dan HTTP
mesin telusur tertentu, lihat panduan ini: