מנועי החיפוש יכולים להציג דפים בתוצאות החיפוש רק אם הם לא מוצגים לחסום באופן מפורש את ההוספה לאינדקס על ידי סורקים של מנועי חיפוש. כמה כותרות HTTP ומטא תגים מורים לסורקים שאין להוסיף דף לאינדקס.
יש לחסום הוספה לאינדקס רק עבור תוכן שאתם לא רוצים שיופיע בתוצאות החיפוש.
איך הבדיקה של הוספה לאינדקס של Lighthouse נכשלה
דפי דגל Lighthouse שמנועי חיפוש לא יכולים להוסיף לאינדקס:
מערכת Lighthouse מחפשת רק כותרות או רכיבים שחוסמים את כל מנועי החיפוש
לסורקים. לדוגמה, הרכיב <meta> שלמטה מונע את הצגת כל מנועי החיפוש
סורקים (שנקראים גם רובוטים) מגישה לדף:
<meta name="robots" content="noindex"/>
כותרת תגובת ה-HTTP הזו חוסמת גם את כל הסורקים:
X-Robots-Tag: noindex
יכול להיות גם שיש לכם רכיבי <meta> שחוסמים סורקים ספציפיים, כמו:
<meta name="Googlebot" content="noindex"/>
הבדיקה של הוראות ספציפיות לסורק באמצעות Lighthouse לא נכשלת, אבל היא עשויה עדיין יקשה על גילוי הדף שלך, לכן השתמש בהם בזהירות. Lighthouse יפיק אזהרה אם הוראה ספציפית לסורק חוסמת בוט נפוץ להוספה לאינדקס.
איך לוודא שמנועי החיפוש יוכלו לסרוק את הדף
קודם כל צריך לוודא שמנועי חיפוש יוסיפו את הדף לאינדקס. דפים מסוימים, למשל קובצי Sitemap או תוכן משפטי, בדרך כלל לא כדאי להוסיף לאינדקס. (חשוב לזכור שחסימה הוספה לאינדקס לא מונעת ממשתמשים לגשת לדף אם הם יודעים את כתובת ה-URL שלו).
בדפים שרוצים להוסיף לאינדקס, צריך להסיר כותרות HTTP או רכיבי <meta>
שחוסמים את הסורקים של מנועי החיפוש. בהתאם לאופן שבו מגדירים את האתר,
יכול להיות שתצטרכו לבצע חלק מהשלבים הבאים או את כולם:
- אם הגדרת HTTP, צריך להסיר את כותרת תגובת ה-HTTP
X-Robots-Tagכותרת תגובה:
X-Robots-Tag: noindex
- מסירים את המטא תג הבא אם הוא מופיע בראש הדף:
<meta name="robots" content="noindex">
- להימנע ממטא תגים שחוסמים סורקים ספציפיים אם התגים האלה נמצאים את ראש הדף. לדוגמה:
<meta name="Googlebot" content="noindex">
הוספת אמצעי בקרה נוסף (אופציונלי)
יכול להיות שאתם רוצים שליטה רבה יותר על האופן שבו מנועי חיפוש מוסיפים את הדף שלכם לאינדקס. לדוגמה, יכול להיות שלא רוצים ש-Google תוסיף תמונות לאינדקס, אבל אתם רוצים את שאר הדף נוסף לאינדקס.
לקבלת מידע על ההגדרה של רכיבי <meta> ו-HTTP
כותרות של מנועי חיפוש ספציפיים, כדאי לעיין במדריכים הבאים: