เครื่องมือค้นหาจะแสดงหน้าในผลการค้นหาเฉพาะในกรณีที่หน้าเหล่านั้นไม่ได้บล็อกการจัดทำดัชนีโดยโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาอย่างชัดแจ้ง ส่วนหัว HTTP และเมตาแท็กบางรายการบอกโปรแกรมรวบรวมข้อมูลว่าไม่ควรจัดทำดัชนีหน้าเว็บ
บล็อกเฉพาะการจัดทำดัชนีสำหรับเนื้อหาที่คุณไม่ต้องการให้ปรากฏในผลการค้นหา
วิธีที่การตรวจสอบการจัดทำดัชนีของ Lighthouse ไม่สำเร็จ
Lighthouse จะแจ้งหน้าที่เครื่องมือค้นหาจัดทำดัชนีไม่ได้
Lighthouse จะตรวจสอบส่วนหัวหรือองค์ประกอบที่บล็อกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาทั้งหมดเท่านั้น ตัวอย่างเช่น องค์ประกอบ <meta>
ด้านล่างป้องกันไม่ให้ Crawler ของเครื่องมือค้นหาทั้งหมด (หรือที่เรียกว่าโรบ็อต) เข้าถึงหน้าเว็บของคุณ
<meta name="robots" content="noindex"/>
ส่วนหัวการตอบกลับ HTTP นี้ยังบล็อกโปรแกรมรวบรวมข้อมูลทั้งหมดด้วย
X-Robots-Tag: noindex
คุณอาจมีองค์ประกอบ <meta>
ที่บล็อกโปรแกรมรวบรวมข้อมูลบางโปรแกรมด้วย เช่น
<meta name="Googlebot" content="noindex"/>
Lighthouse ไม่ได้ทำการตรวจสอบคำสั่งเฉพาะของ Crawler เช่นนี้ แต่อาจทำให้การค้นหาหน้าเว็บยากขึ้น โปรดใช้ด้วยความระมัดระวัง Lighthouse จะแสดงคำเตือนหากคำสั่งเฉพาะสำหรับ Crawler กำลังบล็อกบ็อตการจัดทำดัชนีทั่วไป
วิธีตรวจสอบว่าเครื่องมือค้นหาสามารถรวบรวมข้อมูลหน้าเว็บของคุณได้
ก่อนอื่น ดูให้แน่ใจว่าคุณต้องการให้เครื่องมือค้นหาจัดทำดัชนีหน้าเว็บ หน้าบางหน้า เช่น แผนผังเว็บไซต์ หรือเนื้อหาทางกฎหมายไม่ควรได้รับการจัดทำดัชนี (โปรดทราบว่าการบล็อกการจัดทำดัชนีไม่ได้ป้องกันไม่ให้ผู้ใช้เข้าถึงหน้าเว็บหากรู้ URL ของหน้าเว็บ)
สำหรับหน้าที่คุณต้องการให้จัดทำดัชนี ให้นำส่วนหัว HTTP หรือองค์ประกอบ <meta>
ที่บล็อกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาออก คุณอาจต้องทำตามขั้นตอนต่อไปนี้บางส่วนหรือทั้งหมด ทั้งนี้ขึ้นอยู่กับวิธีการตั้งค่าเว็บไซต์
- นำส่วนหัวการตอบกลับ HTTP
X-Robots-Tag
ออกหากคุณตั้งค่าส่วนหัวการตอบกลับ HTTP ดังนี้
X-Robots-Tag: noindex
- นำเมตาแท็กต่อไปนี้ออกหากมีส่วนหัวของหน้า:
<meta name="robots" content="noindex">
- หลีกเลี่ยงเมตาแท็กที่บล็อกโปรแกรมรวบรวมข้อมูลที่เจาะจงหากมีแท็กเหล่านี้ที่ส่วนหัวของหน้า เช่น
<meta name="Googlebot" content="noindex">
เพิ่มการควบคุมอื่น (ไม่บังคับ)
คุณอาจต้องการควบคุมว่าเครื่องมือค้นหาจะจัดทำดัชนีหน้าเว็บของคุณอย่างไร ตัวอย่างเช่น คุณอาจไม่ต้องการให้ Google จัดทำดัชนีรูปภาพ แต่คุณต้องการให้หน้าที่เหลือได้รับการจัดทำดัชนี
ดูข้อมูลเกี่ยวกับวิธีกำหนดค่าองค์ประกอบ <meta>
และส่วนหัว HTTP สำหรับเครื่องมือค้นหาที่เจาะจงได้จากคำแนะนำต่อไปนี้