robots.txt geçerli değil

robots.txt dosyası, arama motorlarına sitenizdeki hangi sayfaları kullanabileceklerini bildirir taranır. Geçersiz bir robots.txt yapılandırması iki tür soruna neden olabilir:

  • Arama motorlarının herkese açık sayfaları taramasını engelleyebilir ve daha seyrek gösterilmesine neden olabilir.
  • Arama motorlarının, aramada gösterilmesini istemediğiniz sayfaları taramasına neden olabilir sonuç.

Lighthouse robots.txt denetimi nasıl başarısız olur?

Lighthouse işaretleri geçersiz robots.txt dosya:

Geçersiz robots.txt dosyasını gösteren Lighthouse denetimi

Raporunuzdaki robots.txt geçerli değil denetimini genişletin robots.txt cihazınızla ilgili sorunun ne olduğunu öğrenin.

Sık karşılaşılan hatalar şunlardır:

  • No user-agent specified
  • Pattern should either be empty, start with "/" or "*"
  • Unknown directive
  • Invalid sitemap URL
  • $ should only be used at the end of the pattern

Lighthouse, robots.txt dosyanızın durumunu kontrol etmez doğru konuma yerleştirin. Düzgün çalışması için dosya şu dizinde olmalıdır: alanınız veya alt alanınız.

robots.txt ile ilgili sorunları düzeltme

robots.txt öğesinin HTTP 5XX durum kodu döndürmediğinden emin olun

Sunucunuz sunucu hatası (HTTP durum kodu) döndürüyorsa 500'lerde robots.txt için), arama motorları, taranır. Sitenizin tamamını taramayı durdurabilirler. Bu durumda, yeni dizine alınmasını engeller.

HTTP durum kodunu kontrol etmek için Chrome'da robots.txt adresini açın ve isteği Chrome Geliştirici Araçları'nda kontrol edin.

robots.txt değerini 500 KiB'tan küçük tutun

Dosya şu koşulları karşılıyorsa arama motorları robots.txt işlemini videonun ortasında durdurabilir: daha fazla olabilir. Bu durum, arama motorunun kafasını karıştırarak yanlış girişlere yol açabilir tarama.

robots.txt boyutunu küçük tutmak için tek tek hariç tutulan sayfalara ve diğerlerine daha az odaklanın daha genel kalıplar üzerine konuşalım. Örneğin, PDF dosyalarının taranmasını engellemeniz gerekiyorsa her dosyaya izin vermeyin. Bunun yerine, disallow: /*.pdf kullanarak .pdf.

Biçim hatalarını düzeltin

  • Yalnızca "name: value" ile eşleşen boş satırlar, yorumlar ve yönergeler biçimleri şunlardır: robots.txt içinde izin veriliyor.
  • allow ve disallow değerlerinin boş olduğundan veya / ya da * ile başladığından emin olun.
  • Bir değerin ortasında $ kullanmayın (örneğin, allow: /file$html).

user-agent için bir değer olduğundan emin olun

Arama motoru tarayıcılarına hangi yönergelerin izleneceğini bildiren kullanıcı aracısı adları. Siz Arama motorlarının bunu bilmesi için her user-agent örneği için bir değer sağlamalıdır izlenip izlenmeyeceğini belirler.

Belirli bir arama motoru tarayıcısını belirtmek için, tarayıcının kendisinden bir kullanıcı aracısı yayınlanan bir listedir. (Örneğin, burada Google'ın tarama için kullanılan kullanıcı aracıları listesi.)

Eşleşmeyen tüm tarayıcıları eşleştirmek için * kullanın.

Yapılmaması gerekenler:
user-agent:
disallow: /downloads/

Kullanıcı aracısı tanımlanmadı.

Yapılması gerekenler
user-agent: *
disallow: /downloads/

user-agent: magicsearchbot
disallow: /uploads/

Genel kullanıcı aracısı ve magicsearchbot kullanıcı aracısı tanımlanmıştır.

user-agent öncesinde allow veya disallow yönergesi olmadığından emin olun

Kullanıcı aracısı adları, robots.txt dosyanızın bölümlerini tanımlar. Arama motoru tarayıcıları, hangi yönergeleri izleyeceklerini belirlemek için bu bölümleri kullanır. Giriş ilk kullanıcı aracısı adından önceki yönergesi, hiçbir tarayıcının somut olarak ortaya koyar.

Yapılmaması gerekenler:
# start of file
disallow: /downloads/

user-agent: magicsearchbot
allow: /

Hiçbir arama motoru tarayıcısı disallow: /downloads yönergesini okumaz.

Yapılması gerekenler
# start of file
user-agent: *
disallow: /downloads/

Hiçbir arama motorunun /downloads klasörünü taramasına izin verilmedi.

Arama motoru tarayıcıları, yalnızca kullanıcı aracısı adını yazın. Örneğin, user-agent: * ve user-agent: Googlebot-Image, Googlebot Görseller yalnızca user-agent: Googlebot-Image bölümündeki yönergeleri izleyin.

sitemap için mutlak URL girin

Site haritası dosyaları, arama motorlarına web sitenizdeki sayfalar hakkında bilgi vermenin mükemmel bir yoludur. Site haritası dosyası genellikle web sitenizdeki URL'ler ve bu URL'lerin en son ne zaman olduklarına ilişkin bilgiler değiştirildi.

robots.txt içinde bir site haritası dosyası göndermeyi seçerseniz mutlak URL kullanın.

Yapılmaması gerekenler:
sitemap: /sitemap-file.xml
Yapılması gerekenler
sitemap: https://example.com/sitemap-file.xml

Kaynaklar