2017年1月
Hits ユーザエージェント
1 110647 Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html)
2 28659 Mozilla/5.0 (compatible; bingbot/2.0;
3 1357 Mozilla/5.0 (compatible; Googlebot/2.1;

まだ3日しかたっていないですよ
1位のあなた11万ですか？
あたまおかしくないですか？
おかしいでしょ。そんなあなたは立ち入り禁止。
レッドカードをプレゼントします

[.htaccess]
RewriteEngine On
RewriteBase /

SetEnvIf User-Agent ".*(hatena|megalodon|jgn|SemrushBot)" deny_ok_robots

RewriteCond "%{ENV:deny_ok_robots}" "1"
RewriteRule "robots.txt$" robots_deny.txt [L]

RewriteCond "%{ENV:deny_ok_robots}" "1"
RewriteRule ".?" - [R=404,L]