Halaman diblokir dari pengindeksan

Mesin telusur hanya dapat menampilkan halaman di hasil penelusuran mereka jika halaman tersebut tidak secara eksplisit memblokir pengindeksan oleh crawler mesin telusur. Beberapa header dan meta HTTP tag memberi tahu crawler bahwa halaman seharusnya tidak diindeks.

Hanya blokir pengindeksan untuk konten yang tidak ingin Anda munculkan di hasil penelusuran.

Kegagalan audit pengindeksan Lighthouse

Halaman tanda Lighthouse yang tidak dapat diindeks oleh mesin telusur:

Audit Lighthouse yang menunjukkan mesin telusur tidak dapat mengindeks halaman Anda

Lighthouse hanya memeriksa header atau elemen yang memblokir semua mesin telusur crawler. Misalnya, elemen <meta> di bawah mencegah semua mesin telusur crawler (juga dikenal sebagai robot) agar tidak mengakses halaman Anda:

<meta name="robots" content="noindex"/>

Header respons HTTP ini juga memblokir semua crawler:

X-Robots-Tag: noindex

Anda mungkin juga memiliki elemen <meta> yang memblokir crawler tertentu, seperti:

<meta name="Googlebot" content="noindex"/>

Lighthouse tidak gagal dalam audit perintah khusus crawler seperti ini, tetapi mereka dapat membuat halaman Anda semakin sulit ditemukan, jadi gunakan dengan hati-hati. Mercusuar akan memancarkan peringatan jika perintah khusus crawler memblokir bot pengindeksan umum.

Cara memastikan bahwa mesin telusur dapat meng-crawl halaman Anda

Pertama-tama, pastikan Anda ingin mesin telusur mengindeks halaman tersebut. Beberapa halaman, seperti peta situs atau konten legal, umumnya tidak boleh diindeks. (Ingatlah bahwa memblokir pengindeksan tidak mencegah pengguna mengakses halaman jika mereka mengetahui URL-nya.)

Untuk halaman yang ingin Anda indeks, hapus header HTTP atau elemen <meta> yang memblokir crawler mesin telusur. Bergantung pada cara Anda menyiapkan situs, Anda mungkin perlu melakukan beberapa atau semua langkah di bawah ini:

  • Hapus header respons HTTP X-Robots-Tag jika Anda menyiapkan HTTP header respons:
X-Robots-Tag: noindex
  • Hapus tag meta berikut jika ada di bagian head halaman:
<meta name="robots" content="noindex">
  • Hindari tag meta yang memblokir crawler tertentu jika tag ini ada di pada bagian atas halaman. Contoh:
<meta name="Googlebot" content="noindex">

Tambahkan kontrol tambahan (opsional)

Anda mungkin ingin memiliki kontrol lebih besar terhadap cara mesin telusur mengindeks halaman Anda. Misalnya, mungkin Anda tidak ingin Google mengindeks gambar, tetapi Anda ingin bagian lain halaman terindeks.

Untuk mengetahui informasi tentang cara mengonfigurasi elemen <meta> dan HTTP mesin telusur tertentu, lihat panduan ini:

Resource