Robots.txt และ Sitemap.xml ไฟล์เล็กๆ ที่ห้ามมองข้าม

ทำไมเว็บไซต์บางเว็บ Google เข้ามาเก็บข้อมูลไวมาก โพสต์ปุ๊บติดปั๊บ แต่บางเว็บรอเป็นเดือนก็ยังหาไม่เจอ ทั้งที่เขียนเนื้อหาดีเหมือนกัน? คำตอบอาจไม่ได้อยู่ที่ เนื้อหา แต่อยู่ที่ การสื่อสารกับ Google ค่ะ การทำ SEO ไม่ใช่แค่เขียนบทความให้คนอ่าน แต่ต้องอำนวยความสะดวกให้ Google Bot (Spider) เข้ามาเก็บข้อมูลได้ง่ายที่สุดด้วย และเครื่องมือสื่อสารที่สำคัญที่สุดก็คือไฟล์เล็กๆ 2 ไฟล์ที่ชื่อว่า Robots.txt และ Sitemap.xml นั่นเอง

วันนี้จะพาไปทำความรู้จักกับ 2 ฮีโร่เบื้องหลัง SEO ที่คนทำเว็บมักมองข้าม แต่ถ้าขาดไป เว็บอาจพังได้เลยค่ะ

Robots.txt คืออะไร? The Gatekeeper

เปรียบเทียบง่ายๆ Robots.txt คือ ป้ายห้ามเข้า หรือ รปภ. หน้าเว็บไซต์ค่ะ หน้าที่ของมันคือบอก Google Bot ว่า หน้าไหนห้ามเข้า และ หน้าไหนเข้าได้

ทำไมเราต้องห้าม Google?

หลายคนอาจคิดว่า ยิ่ง Google เข้ามาเยอะๆ ยิ่งดีไม่ใช่เหรอ? คำตอบคือ ไม่ใช่ทั้งหมดค่ะ เพราะเว็บไซต์เรามีหน้าบางประเภทที่ไม่จำเป็นต้องติดอันดับบน Google เช่น

• หน้า Admin หลังบ้าน 
• หน้าตระกร้าสินค้า หรือหน้าชำระเงิน
• หน้าผลลัพธ์การค้นหาภายในเว็บ
• ไฟล์เอกสารส่วนตัวหรือไฟล์ PDF ที่ไม่ต้องการเผยแพร่

ประโยชน์ของ Robots.txt

ช่วยประหยัด Crawl Budget (งบประมาณในการเก็บข้อมูล) ของ Google ค่ะ ลองคิดดูว่าถ้า Google เสียเวลาไปเก็บข้อมูลหน้าขยะพวกนี้ มันอาจจะหมดเวลาและกลับไปก่อนที่จะได้เจอบทความดีๆ ของเราก็ได้ การมี Robots.txt จึงช่วยบีบให้ Google โฟกัสเฉพาะหน้าที่สำคัญจริงๆ ค่ะ

คำเตือน การเขียน Robots.txt ผิดเพียงบรรทัดเดียว (เช่นเผลอไปสั่ง Disallow /) อาจทำให้ Google หายไปจากเว็บคุณทั้งเว็บเลยนะคะ ต้องระวังให้มาก

Sitemap.xml คืออะไร?  แผนที่นำทาง The Map

ถ้า Robots.txt คือป้ายห้ามเข้า Sitemap.xml ก็คือ แผนที่นำทาง หรือ GPS ค่ะ มันคือไฟล์ที่รวบรวมรายชื่อ URL ทั้งหมดบนเว็บไซต์ที่เรา อยากให้ Google รู้จัก จัดเรียงไว้อย่างเป็นระเบียบ เพื่อยื่นให้ Google Bot ดูว่า

• เว็บนี้มีกี่หน้า?
• หน้าไหนสำคัญที่สุด?
• หน้านี้อัปเดตล่าสุดเมื่อไหร่?

ประโยชน์ของ Sitemap.xml

1. ช่วยให้ Index ไวขึ้น โดยเฉพาะเว็บใหม่ที่ยังไม่มีใครลิงก์มาหาBacklink Google อาจจะหาทางเข้าไม่เจอ การส่ง Sitemap คือการเชิญ Google เข้ามาถึงที่ค่ะ
2. เก็บตกหน้าลึกๆ บางบทความอาจจะซ่อนอยู่ในเมนูลึกมากจนบอทหาไม่เจอ Sitemap จะช่วยชี้เป้าให้บอทวิ่งไปหาได้ถูกทางค่ะ

สรุปความต่าง ใครทำหน้าที่อะไร?

หัวข้อ	Robots.txt	Sitemap.xml
หน้าที่หลัก	บอกสิ่งที่ ไม่ควร เก็บข้อมูล	บอกสิ่งที่ ควร เก็บข้อมูล
เปรียบเหมือน	ป้ายห้ามเข้า	แผนที่ลายแทงสมบัติ
เป้าหมาย	ประหยัดแรง Bot / ป้องกันข้อมูลส่วนตัว	ช่วยให้ Index ครบและเร็วขึ้น
ขาดได้ไหม?	ขาดได้ (แต่ Bot จะเข้ามั่วซั่ว)	ขาดได้ (แต่ Bot จะหาหน้าใหม่ยาก)

จะรู้ได้ไงว่าเว็บเรามี 2 ไฟล์นี้หรือยัง?

วิธีเช็กง่ายมากค่ะ แค่พิมพ์ชื่อเว็บของคุณแล้วตามด้วยชื่อไฟล์ในช่อง URL ดังนี้

1. เช็ก Robots.txt พิมพ์ yourwebsite.com/robots.txt ถ้ามี จะขึ้นหน้าจอที่มีโค้ดภาษาอังกฤษบรรทัดสั้นๆ (User-agent, Disallow)
2. เช็ก Sitemap พิมพ์ yourwebsite.com/sitemap.xml ถ้ามี จะขึ้นหน้าจอที่มีลิสต์ลิงก์เยอะๆ เต็มไปหมด

สิ่งที่ต้องทำหลังจากเช็ก ถ้ามีไฟล์ Sitemap.xml แล้ว อย่าลืมนำลิงก์นั้นไปส่ง (Submit) ใน Google Search Console ด้วยนะคะ เพื่อเป็นการแจ้งเตือน Google อย่างเป็นทางการว่า ฉันมีแผนที่มาให้แล้วนะ เข้ามาตรวจได้เลย

ถึงแม้ Robots.txt และ Sitemap.xml จะเป็นไฟล์เทคนิคเล็กๆ ที่คนทั่วไปมองไม่เห็น แต่มันคือฐานที่ทำให้เว็บไซต์ของคุณสื่อสารกับ Search Engine ได้รู้เรื่องค่ะ ถ้าวันนี้คุณทำคอนเทนต์ดีแล้ว แต่อันดับยังไม่มา ลองกลับไปเช็กหลังบ้านดูนะคะว่า ประตูบ้านของคุณเปิดต้อนรับ Google Bot อย่างถูกต้องหรือยัง หรือเผลอล็อกประตูขังตัวเองไว้หรือเปล่า