सर्च इंजन अपने खोज नतीजों में पेजों को सिर्फ़ तब दिखा सकते हैं, जब उन पेजों को सर्च इंजन के क्रॉलर से, इंडेक्स करने पर साफ़ तौर पर रोक न लगाई गई हो. कुछ एचटीटीपी हेडर और मेटा टैग, क्रॉलर को बताते हैं कि किसी पेज को इंडेक्स नहीं किया जाना चाहिए.
सिर्फ़ उस कॉन्टेंट को इंडेक्स करने से रोकें जिसे आपको खोज के नतीजों में नहीं दिखाना है.
लाइटहाउस इंडेक्स करने की प्रक्रिया का ऑडिट कैसे काम नहीं करता है
Lighthouse ऐसे पेजों को फ़्लैग करता है जिन्हें सर्च इंजन इंडेक्स नहीं कर सकते:
लाइटहाउस सिर्फ़ उन हेडर या एलिमेंट की जांच करता है जो सभी सर्च इंजन के क्रॉलर को ब्लॉक करते हैं. उदाहरण के लिए, नीचे दिया गया <meta>
एलिमेंट, सर्च इंजन के सभी क्रॉलर (जिन्हें रोबोट भी कहा जाता है) को आपका पेज ऐक्सेस करने से रोकता है:
<meta name="robots" content="noindex"/>
यह एचटीटीपी रिस्पॉन्स हेडर सभी क्रॉलर पर रोक लगाता है:
X-Robots-Tag: noindex
आपके पास ऐसे <meta>
एलिमेंट भी हो सकते हैं जो खास क्रॉलर को ब्लॉक करते हैं, जैसे:
<meta name="Googlebot" content="noindex"/>
लाइटहाउस, क्रॉलर से जुड़े इस तरह के निर्देशों के ऑडिट में फ़ेल नहीं होता है, लेकिन इनसे आपके पेज को ढूंढना अब भी मुश्किल हो सकता है. इसलिए, इनका इस्तेमाल सावधानी से करें. अगर क्रॉलर का कोई निर्देश किसी सामान्य इंडेक्स बॉट को ब्लॉक कर रहा है, तो लाइटहाउस एक चेतावनी देगा.
यह कैसे पक्का करें कि सर्च इंजन आपके पेज को क्रॉल कर सकते हैं
सबसे पहले यह पक्का करें कि सर्च इंजन उस पेज को इंडेक्स करें. साइटमैप या कानूनी कॉन्टेंट जैसे कुछ पेजों को आम तौर पर इंडेक्स नहीं किया जाना चाहिए. (ध्यान रखें कि अगर उपयोगकर्ता को पेज का यूआरएल पता है, तो इंडेक्स करने की सुविधा को ब्लॉक करने से भी वे उस पेज को ऐक्सेस नहीं कर पाएंगे.)
आपको जिन पेजों को इंडेक्स कराना है उनके लिए, ऐसे एचटीटीपी हेडर या <meta>
एलिमेंट हटा दें जो सर्च इंजन के क्रॉलर को ब्लॉक कर रहे हों. आपने अपनी साइट कैसे सेट अप की है, इसके आधार पर आपको नीचे दिए गए कुछ या सभी चरण पूरे करने पड़ सकते हैं:
- अगर आपने एचटीटीपी रिस्पॉन्स हेडर सेट अप किया है, तो
X-Robots-Tag
एचटीटीपी रिस्पॉन्स हेडर हटाएं:
X-Robots-Tag: noindex
- अगर यह मेटा टैग पेज के सबसे ऊपर मौजूद है, तो इसे हटा दें:
<meta name="robots" content="noindex">
- अगर ये टैग पेज के शीर्षक में मौजूद हैं, तो खास क्रॉलर को ब्लॉक करने वाले मेटा टैग से बचें. उदाहरण के लिए:
<meta name="Googlebot" content="noindex">
ज़्यादा कंट्रोल जोड़ें (ज़रूरी नहीं)
सर्च इंजन आपके पेज को कैसे इंडेक्स करते हैं, इस पर ज़्यादा कंट्रोल की ज़रूरत पड़ सकती है. उदाहरण के लिए, हो सकता है कि आप चाहें कि Google, इमेज को इंडेक्स न करे, लेकिन आपको पेज के बाकी के हिस्से को इंडेक्स कराना हो.
अगर आपको खास सर्च इंजन के लिए, अपने <meta>
एलिमेंट और एचटीटीपी हेडर को कॉन्फ़िगर करने का तरीका जानना है, तो ये गाइड देखें: