เทคนิคง่ายๆ เพียงแค่ใส่คำสั่งเหล่านี้ลงไปใน “robots.txt”
User-agent: *
Disallow:
User-agent: rogerbot
Disallow: /
User-agent: exabot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: gigabot
Disallow: /
User-agent: AhrefsBot
Disallow: /
คำสั่งเหล่านี้เป็นการบล๊อกบอท Tool ต่างๆ เช่น Ahrefs, SEOMoz, MajesticSEO
ที่จริงแล้วยังมีบอทมากกว่านี้ และเป็นบอทที่ไม่เป็นที่รู้จักอีกมากมาย การจะบล๊อกให้หมดนั้นจึงเป็นเรื่องยาก
หากคุณต้องการคัดกรองให้เหลือแต่บอทที่สำคัญจริงๆ คุณสามารถใช้คำสั่งได้ดังนี้
User-agent: googlebot
Allow:/
User-agent: msnbot
Allow:/
User-agent: slurp
Allow:/
User-agent: bingbot
Allow:/
User-agent: *
Disallow: /
บางกรณีจะใช้ robots.txt ไม่ได้ผล ต้องแก้ไขด้วยการใส่คำสั่งใน .htaccess
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^exabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot
RewriteRule ^.* – [F,L]
เพียงแค่นี้คุณก็สามารถบล๊อกบอทที่ไม่จำเป็นได้แล้ว
Credit: VIP116
