เครื่องมือค้นหาสามารถแสดงหน้าในผลการค้นหาได้ก็ต่อเมื่อหน้าเหล่านั้นไม่แสดง บล็อกการจัดทำดัชนีโดยโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาอย่างชัดเจน เมตาและส่วนหัว HTTP บางรายการ แท็กจะบอกให้โปรแกรมรวบรวมข้อมูลทราบว่าหน้าเว็บไม่ควรได้รับการจัดทำดัชนี
บล็อกเฉพาะการจัดทำดัชนีสำหรับเนื้อหาที่คุณไม่ต้องการให้ปรากฏในผลการค้นหา
วิธีที่การตรวจสอบการจัดทำดัชนี Lighthouse ล้มเหลว
หน้าแฟล็ก Lighthouse ที่เครื่องมือค้นหาไม่สามารถจัดทำดัชนีได้:
Lighthouse ตรวจสอบเฉพาะส่วนหัวหรือองค์ประกอบที่บล็อกเครื่องมือค้นหาทั้งหมด
โปรแกรมรวบรวมข้อมูล ตัวอย่างเช่น องค์ประกอบ <meta> ด้านล่างจะป้องกันเครื่องมือค้นหาทั้งหมด
โปรแกรมรวบรวมข้อมูล (หรือที่เรียกว่าโรบ็อต) เข้าถึงหน้าเว็บไม่ได้
<meta name="robots" content="noindex"/>
ส่วนหัวการตอบกลับ HTTP นี้ยังบล็อก Crawler ทั้งหมดด้วย
X-Robots-Tag: noindex
คุณอาจมีองค์ประกอบ <meta> ที่บล็อก Crawler บางประเภทด้วย เช่น
<meta name="Googlebot" content="noindex"/>
Lighthouse ไม่ได้ล้มเหลวในการตรวจสอบคำสั่งเฉพาะ Crawler อย่างเช่นคำสั่งนี้ อาจทำให้ผู้ใช้ค้นพบหน้าเว็บของคุณได้ยากขึ้น ดังนั้น โปรดใช้ด้วยความระมัดระวัง Lighthouse จะปล่อย หากคำสั่งเฉพาะของโปรแกรมรวบรวมข้อมูลบล็อกบ็อตการจัดทำดัชนีทั่วไป
วิธีตรวจสอบให้แน่ใจว่าเครื่องมือค้นหาสามารถรวบรวมข้อมูลหน้าเว็บของคุณ
ก่อนอื่นต้องดูให้แน่ใจว่าเครื่องมือค้นหาต้องการจัดทำดัชนีหน้าเว็บนั้น หน้าเว็บบางหน้า เช่น แผนผังเว็บไซต์ หรือเนื้อหาด้านกฎหมาย ซึ่งโดยทั่วไปไม่ควรจัดทำดัชนี (โปรดทราบว่าการบล็อก การจัดทําดัชนีจะไม่ป้องกันไม่ให้ผู้ใช้เข้าถึงหน้าเว็บหากทราบ URL ของหน้านั้น)
สำหรับหน้าที่ต้องการจัดทำดัชนี ให้นำส่วนหัว HTTP หรือองค์ประกอบ <meta> ออก
ที่บล็อกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหา ขึ้นอยู่กับวิธีตั้งค่าเว็บไซต์
คุณอาจต้องทำขั้นตอนบางรายการหรือทั้งหมดด้านล่าง
- นำส่วนหัวการตอบกลับ HTTP
X-Robots-Tagออกหากคุณตั้งค่า HTTP ส่วนหัวการตอบกลับ:
X-Robots-Tag: noindex
- นำเมตาแท็กต่อไปนี้ออกหากมีอยู่ในส่วนหัวของหน้า
<meta name="robots" content="noindex">
- หลีกเลี่ยงเมตาแท็กที่บล็อกโปรแกรมรวบรวมข้อมูลบางโปรแกรม หากมีแท็กเหล่านี้อยู่ในแท็ก ส่วนหัวของหน้า เช่น
<meta name="Googlebot" content="noindex">
เพิ่มการควบคุมเพิ่มเติม (ไม่บังคับ)
คุณอาจต้องการควบคุมวิธีที่เครื่องมือค้นหาจัดทำดัชนีหน้าเว็บของคุณให้มากขึ้น ตัวอย่างเช่น คุณอาจไม่ต้องการให้ Google จัดทำดัชนีภาพ แต่คุณต้องการส่วนที่เหลือของหน้า จัดทำดัชนีแล้ว
สำหรับข้อมูลเกี่ยวกับวิธีกำหนดค่าองค์ประกอบ <meta> และ HTTP
สำหรับเครื่องมือค้นหาเฉพาะบางรายการ โปรดดูคำแนะนำเหล่านี้: