لا يمكن لمحركات البحث عرض الصفحات ضمن نتائج البحث إلا إذا كانت تلك الصفحات لا تحظر الفهرسة من قِبل برامج زحف محركات البحث بشكل صريح. تخبر بعض عناوين HTTP والعلامات الوصفية برامج الزحف بأنه يجب عدم فهرسة الصفحة.
يمكنك حظر فهرسة المحتوى الذي لا تريده أن يظهر في نتائج البحث فقط.
أسباب تعذُّر التدقيق في "فهرسة Lighthouse"
يضع Lighthouse علامة على الصفحات التي لا تستطيع محركات البحث فهرستها:
![تدقيق Lighthouse يُظهر أنّه يتعذّر على محركات البحث فهرسة صفحتك](https://developer.chrome.com/static/docs/lighthouse/seo/is-crawlable/image/lighthouse-audit-showing-7e7f828021977.png?authuser=6&hl=ar)
تتحقّق أداة Lighthouse من العناوين أو العناصر التي تحظر جميع برامج زحف محرك البحث. على سبيل المثال، يمنع العنصر <meta>
أدناه جميع برامج زحف محرّكات
البحث (المعروفة أيضًا باسم برامج الروبوت) من الوصول إلى صفحتك:
<meta name="robots" content="noindex"/>
يحظر عنوان استجابة HTTP أيضًا جميع برامج الزحف:
X-Robots-Tag: noindex
قد يكون لديك أيضًا عناصر <meta>
تحظر برامج زحف محدّدة، مثل:
<meta name="Googlebot" content="noindex"/>
لا يتعذّر على Lighthouse إجراء عملية التدقيق للتوجيهات الخاصة بالزاحف مثل هذه، ولكنها قد تجعل اكتشاف صفحتك صعبًا، لذا يمكنك استخدامها بحذر. وستصدر أداة Lighthouse تحذيرًا إذا كان توجيه خاص بالزاحف يحظر برنامج تتبُّع شائع للفهرسة.
كيفية التأكّد من أنّ محركات البحث يمكنها الزحف إلى صفحتك
تأكد أولاً من أنك تريد أن تفهرس محركات البحث الصفحة. ويجب عدم فهرسة بعض الصفحات بشكل عام، مثل خرائط الموقع أو المحتوى القانوني. (تذكّر أنّ حظر الفهرسة لا يمنع المستخدمين من الوصول إلى الصفحة إذا كانوا يعرفون عنوان URL الخاص بها).
بالنسبة إلى الصفحات التي تريد فهرستها، عليك إزالة أي عناوين HTTP أو عناصر <meta>
تحظر برامج زحف محرّك البحث. استنادًا إلى كيفية إعداد موقعك الإلكتروني، قد تحتاج إلى تنفيذ بعض الخطوات التالية أو جميعها:
- أزِل عنوان استجابة HTTP
X-Robots-Tag
في حال إعداد عنوان استجابة HTTP:
X-Robots-Tag: noindex
- إزالة العلامة الوصفية التالية في حال وجودها في عنوان الصفحة:
<meta name="robots" content="noindex">
- تجنَّب العلامات الوصفية التي تحظر برامج زحف محدّدة إذا كانت هذه العلامات مضمَّنة في عنوان الصفحة. مثال:
<meta name="Googlebot" content="noindex">
إضافة عنصر تحكُّم إضافي (اختياري)
قد تحتاج إلى مزيد من التحكّم في طريقة فهرسة محرّكات البحث لصفحتك. على سبيل المثال، ربما لا تريد أن يفهرس Google الصور، ولكنك تريد فهرسة بقية الصفحة.
للاطّلاع على معلومات حول طريقة ضبط عناصر <meta>
ورؤوس HTTP لمحرّكات بحث محدّدة، يُرجى الاطّلاع على هذه الأدلة:
المراجِع
- رمز المصدر لتدقيق الصفحة من الفهرسة
- مواصفات العلامة الوصفية لبرامج الروبوت وعنوان X-Robots-Tag HTTP من Google
- العلامات الوصفية لبرامج الروبوت في Bing
- مقالة استخدام عناصر HTML في Yandex