Поисковые системы могут отображать страницы в результатах поиска только в том случае, если эти страницы явно не блокируют индексацию сканерами поисковых систем. Некоторые HTTP-заголовки и метатеги сообщают сканерам, что страницу не следует индексировать.
Блокируйте индексирование только того контента, который вы не хотите показывать в результатах поиска.
Почему аудит индексации Lighthouse терпит неудачу
Lighthouse помечает страницы, которые поисковые системы не могут индексировать:
Lighthouse проверяет только заголовки или элементы, которые блокируют все сканеры поисковых систем. Например, элемент <meta> ниже блокирует доступ всех сканеров поисковых систем (также известных как роботы) к вашей странице:
<meta name="robots" content="noindex"/>
Этот заголовок ответа HTTP также блокирует все сканеры:
X-Robots-Tag: noindex
У вас также могут быть элементы <meta> , которые блокируют определенных сканеров, например:
<meta name="Googlebot" content="noindex"/>
Lighthouse не проходит проверку на наличие подобных директив для сканера, но они все равно могут затруднить обнаружение вашей страницы, поэтому используйте их с осторожностью. Lighthouse выдаст предупреждение, если директива, специфичная для сканера, блокирует обычного индексирующего бота.
Как гарантировать, что поисковые системы смогут сканировать вашу страницу
Сначала убедитесь, что вы хотите, чтобы поисковые системы индексировали страницу. Некоторые страницы, например карты сайта или юридический контент, обычно не следует индексировать. (Имейте в виду, что блокировка индексирования не препятствует доступу пользователей к странице, если они знают ее URL-адрес.)
Для страниц, которые вы хотите проиндексировать, удалите все заголовки HTTP или элементы <meta> , которые блокируют сканеры поисковых систем. В зависимости от того, как вы настроили свой сайт, вам может потребоваться выполнить некоторые или все из следующих шагов:
- Удалите заголовок ответа HTTP
X-Robots-Tagесли вы настроили заголовок ответа HTTP:
X-Robots-Tag: noindex
- Удалите следующий метатег, если он присутствует в заголовке страницы:
<meta name="robots" content="noindex">
- Избегайте метатегов, которые блокируют определенных сканеров, если эти теги присутствуют в заголовке страницы. Например:
<meta name="Googlebot" content="noindex">
Добавьте дополнительный элемент управления (необязательно)
Возможно, вам потребуется больше контроля над тем, как поисковые системы индексируют вашу страницу. Например, возможно, вы не хотите, чтобы Google индексировал изображения, но хотите, чтобы проиндексировалась остальная часть страницы.
Информацию о том, как настроить элементы <meta> и заголовки HTTP для конкретных поисковых систем, см. в следующих руководствах: