Wyszukiwarki mogą wyświetlać strony w wynikach wyszukiwania tylko wtedy, gdy te strony nie są wyświetlane wyraźnie zablokować indeksowanie przez roboty wyszukiwarek. Niektóre nagłówki HTTP i metatagi informują roboty, że strony nie należy indeksować.
Blokuj indeksowanie tylko tych treści, które nie powinny pojawiać się w wynikach wyszukiwania.
Dlaczego nie powiodła się kontrola indeksowania Lighthouse
Strony flag Lighthouse których wyszukiwarki nie mogą indeksować:
Lighthouse sprawdza tylko nagłówki lub elementy, które blokują wszystkie wyszukiwarki
robotami. Na przykład poniższy element <meta> uniemożliwia wszystkim wyszukiwarkom
roboty (nazywane też robotami) na dostęp do Twojej strony:
<meta name="robots" content="noindex"/>
Ten nagłówek odpowiedzi HTTP blokuje też wszystkie roboty:
X-Robots-Tag: noindex
Możesz też mieć elementy <meta>, które blokują określone roboty – takie jak:
<meta name="Googlebot" content="noindex"/>
Lighthouse nie przechodzi audytu pod kątem takich dyrektyw dla robotów, ale może ale sprawiają, że trudniej jest znaleźć Twoją stronę, więc korzystaj z nich ostrożnie. Latarnia morska wygeneruje ostrzeżenie, jeśli dyrektywa robota blokuje popularnego bota indeksującego.
Jak umożliwić wyszukiwarkom indeksowanie strony
Najpierw upewnij się, że wyszukiwarki mają indeksować stronę. Niektóre strony, takie jak mapy witryn lub treści prawnych, zwykle nie powinny być indeksowane. (Pamiętaj, że blokowanie indeksowanie nie uniemożliwia użytkownikom dostępu do strony, jeśli znają jej adres URL).
W przypadku stron, które chcesz zindeksować, usuń nagłówki HTTP i elementy <meta>.
które blokują roboty wyszukiwarek. W zależności od tego, jak skonfigurujesz witrynę,
może być konieczne wykonanie niektórych lub wszystkich tych czynności:
- Usuń nagłówek odpowiedzi HTTP
X-Robots-Tag, jeśli masz skonfigurowany protokół HTTP nagłówek odpowiedzi:
X-Robots-Tag: noindex
- Usuń ten metatag, jeśli znajduje się w nagłówku strony:
<meta name="robots" content="noindex">
- Unikaj metatagów, które blokują określone roboty, jeśli te tagi znajdują się w sekcji w nagłówku strony. Na przykład:
<meta name="Googlebot" content="noindex">
Dodaj dodatkowy element sterujący (opcjonalnie)
Możesz potrzebować większej kontroli nad sposobem indeksowania stron przez wyszukiwarki. Przykład: może nie chcesz, aby grafiki były indeksowane przez Google, ale reszta strony. .
Informacje o konfigurowaniu elementów <meta> i protokołu HTTP
dla konkretnych wyszukiwarek znajdziesz w tych przewodnikach: