Sidebar |
ユーザエージェント
一覧を見ると変なのがきているのを発見 ということで ipはわからないので ユーザエージェントHatenaを撃退決定!! Hatena Antenna/0.4 (http://a.hatena.ne.jp/help) .htaccess Order deny,allow
#..... Deny from hatena.ne.jp SetEnvIf Remote_Host "hatena.ne.jp$" deny_flag SetEnvIf User-Agent "[hH]atena" deny_flag SetEnvIf REFERER "^http://[a-z0-9]+\.hatena\.ne\.jp/" deny_flag Deny from env=deny_flag robots.txt User-agent: Hatena Antenna
Disallow: / 収集の禁止方法
・.htaccess で完全遮断 ・robots.txt でお断り表明 ・html内のmetaタグ でお断り表明 の3通りがありますが・・・ ネットまわっていると なんか検索エンジンでなくて サイトのデータを蓄積することを目的として 無断収集・一般公開するのもあると知りました。 ということで どこのIPだどって、くるのかしらないので とりあえず やってくるまえに お断り表明を書くことを決定。 robots.txtに以下を追加 (たくさんあるばあいは他の設定と改行で隙間をつくること) User-agent: ia_archiver Disallow: / WordPress をインストール さくら編
» 続きを読む |
Sidebar |