Arama motorları, yalnızca arama motoru tarayıcılarının dizine eklemeyi açık bir şekilde engellemediği sayfaları arama sonuçlarında gösterebilir. Bazı HTTP üst bilgileri ve meta etiketler, tarayıcılara bir sayfanın dizine eklenmemesi gerektiğini bildirir.
Yalnızca arama sonuçlarında görünmesini istemediğiniz içeriklerin dizine eklenmesini engelleyin.
Lighthouse dizine ekleme denetimi nasıl başarısız oluyor?
Lighthouse arama motorlarının dizine ekleyemediği sayfaları işaretler:
![Arama motorlarının sayfanızı dizine ekleyemediğini gösteren Lighthouse denetimi](https://developer.chrome.com/static/docs/lighthouse/seo/is-crawlable/image/lighthouse-audit-showing-7e7f828021977.png?authuser=6&hl=tr)
Lighthouse, yalnızca tüm arama motoru tarayıcılarını engelleyen üst bilgileri veya öğeleri kontrol eder. Örneğin, aşağıdaki <meta>
öğesi, tüm arama motoru tarayıcılarının (robotlar olarak da bilinir) sayfanıza erişmesini engeller:
<meta name="robots" content="noindex"/>
Bu HTTP yanıt başlığı tüm tarayıcıları da engeller:
X-Robots-Tag: noindex
Ayrıca, aşağıdakiler gibi belirli tarayıcıları engelleyen <meta>
öğeleriniz olabilir:
<meta name="Googlebot" content="noindex"/>
Lighthouse, bunun gibi tarayıcıya özel yönergelerle ilgili denetimde başarısız olmaz, ancak yine de sayfanızın keşfedilmesini zorlaştırabilir. Bu nedenle, bunları dikkatli kullanın. Tarayıcıya özel bir yönerge, yaygın bir dizine ekleme botunu engelliyorsa Lighthouse bir uyarı verir.
Arama motorlarının sayfanızı tarayabilmesini nasıl sağlayabilirsiniz?
Öncelikle, arama motorlarının sayfayı dizine eklemesini istediğinizden emin olun. Site haritaları veya yasal içerik gibi bazı sayfalar genellikle dizine eklenmemelidir. (Dizine eklemeyi engellemenin, URL'sini bilen kullanıcıların bir sayfaya erişmesini engellemeyeceğini unutmayın.)
Dizine eklenmesini istediğiniz sayfalar için arama motoru tarayıcılarını engelleyen HTTP üst bilgilerini veya <meta>
öğelerini kaldırın. Sitenizi nasıl oluşturduğunuza bağlı olarak,
aşağıdaki adımların bazılarını veya tümünü uygulamanız gerekebilir:
- Bir HTTP yanıt başlığı oluşturduysanız
X-Robots-Tag
HTTP yanıt başlığını kaldırın:
X-Robots-Tag: noindex
- Sayfanın üst kısmında bulunan aşağıdaki meta etiketi kaldırın:
<meta name="robots" content="noindex">
- Sayfanın üst kısmında bulunan etiketler belirli tarayıcıları engelleyen meta etiketler kullanmaktan kaçının. Örneğin:
<meta name="Googlebot" content="noindex">
Ek denetim ekleyin (isteğe bağlı)
Arama motorlarının sayfanızı nasıl dizine eklediği konusunda daha fazla kontrol sahibi olmak isteyebilirsiniz. Örneğin, Google’ın görselleri dizine eklemesini istemezsiniz, ancak sayfanın geri kalanının dizine eklenmesini istersiniz.
Belirli arama motorları için <meta>
öğelerinizi ve HTTP üst bilgilerini yapılandırma hakkında bilgi edinmek için şu kılavuzlara bakın: