เทคนิคการป้องกันไม่ให้ ถูกผู้ไม่หวังดี สปายเวปคุณ

เทคนิคง่ายๆ เพียงแค่ใส่คำสั่งเหล่านี้ลงไปใน “robots.txt”

User-agent: *
Disallow:

User-agent: rogerbot
Disallow: /

User-agent: exabot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: AhrefsBot
Disallow: /

คำสั่งเหล่านี้เป็นการบล๊อกบอท Tool ต่างๆ เช่น Ahrefs, SEOMoz, MajesticSEO

ที่จริงแล้วยังมีบอทมากกว่านี้ และเป็นบอทที่ไม่เป็นที่รู้จักอีกมากมาย การจะบล๊อกให้หมดนั้นจึงเป็นเรื่องยาก

หากคุณต้องการคัดกรองให้เหลือแต่บอทที่สำคัญจริงๆ คุณสามารถใช้คำสั่งได้ดังนี้

User-agent: googlebot
Allow:/

User-agent: msnbot
Allow:/

User-agent: slurp
Allow:/

User-agent: bingbot
Allow:/

User-agent: *
Disallow: /

บางกรณีจะใช้ robots.txt ไม่ได้ผล ต้องแก้ไขด้วยการใส่คำสั่งใน .htaccess

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^exabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot
RewriteRule ^.* – [F,L]

เพียงแค่นี้คุณก็สามารถบล๊อกบอทที่ไม่จำเป็นได้แล้ว

Credit: VIP116

  • 1 Users Found This Useful
Was this answer helpful?

Related Articles

วิธีทำเว็บไซต์ให้ Search Engine Google & Yahoo & Bing รู้จัก

สำหรับเว็บไซต์ใหม่ ถ้าทำเนื้อหาไปหลายหน้าแล้ว แล้วลองค้นหาในเว็บ Search Engine อย่าง google.com,...

วิธีเช็คอันดับเว็บของตัวเองใน Google แบบง่ายๆ SEO

การใช้ Google Chrome ใน โหมดไม่ระบุตัวตน หรือภาษาอังกฤษเรียกว่า Incognito Mode 1. เปิด Google...

ทำนาย PR (PageRank) ล่วงหน้าก่อน Google

สำหรับคนใจร้อน อยากรู้ PR ล่วงหน้า ก่อนที่ search engine  จะปรับค่า PR ของเว็บไซต์เราซักที...

ลดขนาดไฟล์ css compress เทคนิคเล็กๆ ที่ไม่ควรมองข้าม

ลดขนาดไฟล์ css compress เทคนิคเล็กๆ ที่ไม่ควรมองข้าม ทำเว็บมาก็นานครับ...

Google Page Speed เครื่องมือช่วยเพิ่มความเร็วเว็บไซด์ 2 เท่า

Google ต้องการที่จะช่วยทำให้การท่องเว็บไซด์ต่างๆ นั้น ทำได้อย่างรวดเร็วมากยิ่งขึ้น โดย Google...