सर्च इंजन, खोज के नतीजों में सिर्फ़ तब पेज दिखा सकते हैं, जब वे सर्च इंजन क्रॉलर से इंडेक्स करने पर, साफ़ तौर पर रोक लगाना. कुछ एचटीटीपी हेडर और मेटा टैग, क्रॉलर को बताते हैं कि किसी पेज को इंडेक्स नहीं किया जाना चाहिए.
सिर्फ़ उस कॉन्टेंट को इंडेक्स होने से रोकें जिसे आपको खोज के नतीजों में नहीं दिखाना है.
लाइटहाउस को इंडेक्स करने का ऑडिट किस तरह नहीं हो पाता
Lighthouse फ़्लैग वाले पेज जिन्हें सर्च इंजन इंडेक्स नहीं कर सकते:
लाइटहाउस सिर्फ़ उन हेडर या एलिमेंट की जांच करता है जो सभी सर्च इंजन को ब्लॉक करते हैं
क्रॉलर हैं. उदाहरण के लिए, नीचे दिया गया <meta> एलिमेंट सभी सर्च इंजन को रोकता है
क्रॉलर (जिन्हें रोबोट भी कहा जाता है) आपके पेज को ऐक्सेस करने से रोकते हैं:
<meta name="robots" content="noindex"/>
यह एचटीटीपी रिस्पॉन्स हेडर, सभी क्रॉलर को ब्लॉक करता है:
X-Robots-Tag: noindex
आपके पास ऐसे <meta> एलिमेंट भी हो सकते हैं जो किसी क्रॉलर को ब्लॉक करते हैं, जैसे कि:
<meta name="Googlebot" content="noindex"/>
लाइटहाउस, क्रॉलर के लिए खास तौर पर बनाए गए इस तरह के निर्देशों की जांच में फ़ेल नहीं होता, लेकिन वे ये काम कर सकते हैं तब भी आपके पेज को खोजना मुश्किल होगा, इसलिए इनका इस्तेमाल सावधानी से करें. लाइटहाउस से की चेतावनी:
यह कैसे पक्का करें कि सर्च इंजन आपके पेज को क्रॉल कर सकते हैं
सबसे पहले, यह पक्का कर लें कि सर्च इंजन उस पेज को इंडेक्स करें. कुछ पेज, जैसे साइटमैप या कानूनी कॉन्टेंट को इंडेक्स नहीं किया जाना चाहिए. (ध्यान रखें कि अगर उपयोगकर्ताओं को किसी पेज का यूआरएल पता है, तो उसे इंडेक्स करने के बाद भी उसे ऐक्सेस करने से नहीं रोका जाता.
आपको जिन पेजों को इंडेक्स करना है उनसे सभी एचटीटीपी हेडर या <meta> एलिमेंट हटाएं
जो सर्च इंजन क्रॉलर को ब्लॉक कर रहे हों. साइट सेट अप करने के आपके तरीके के हिसाब से,
आपको नीचे दिए गए कुछ या सभी चरण पूरे करने पड़ सकते हैं:
- अगर आपने एचटीटीपी सेट अप किया है, तो
X-Robots-Tagएचटीटीपी रिस्पॉन्स हेडर हटाएं रिस्पॉन्स हेडर:
X-Robots-Tag: noindex
- अगर यह मेटा टैग पेज के सबसे ऊपर मौजूद है, तो उसे हटा दें:
<meta name="robots" content="noindex">
- ऐसे मेटा टैग इस्तेमाल न करें जो किसी क्रॉलर को ब्लॉक करते हैं, अगर ये टैग पेज के हेडर पर क्लिक करें. उदाहरण के लिए:
<meta name="Googlebot" content="noindex">
अतिरिक्त कंट्रोल जोड़ें (ज़रूरी नहीं)
यह तय किया जा सकता है कि सर्च इंजन आपके पेज को कैसे इंडेक्स करें. उदाहरण के लिए, ऐसा हो सकता है कि आप नहीं चाहते कि Google, इमेज को इंडेक्स करे, लेकिन आपको पेज का बाकी हिस्सा इंडेक्स करना है. इंडेक्स किया गया.
<meta> एलिमेंट और एचटीटीपी को कॉन्फ़िगर करने का तरीका जानने के लिए
हेडर देखने के लिए, ये गाइड देखें: