無許可収集
カテゴリー: レンタルサーバーやcgi
2006-02-25
収集の禁止方法
・.htaccess で完全遮断
・robots.txt でお断り表明
・html内のmetaタグ でお断り表明
の3通りがありますが・・・
ネットまわっていると
なんか検索エンジンでなくて
サイトのデータを蓄積することを目的として
無断収集・一般公開するのもあると知りました。
ということで どこのIPだどって、くるのかしらないので
とりあえず やってくるまえに
お断り表明を書くことを決定。
robots.txtに以下を追加
(たくさんあるばあいは他の設定と改行で隙間をつくること)
User-agent: ia_archiver
Disallow: /
・.htaccess で完全遮断
・robots.txt でお断り表明
・html内のmetaタグ でお断り表明
の3通りがありますが・・・
ネットまわっていると
なんか検索エンジンでなくて
サイトのデータを蓄積することを目的として
無断収集・一般公開するのもあると知りました。
ということで どこのIPだどって、くるのかしらないので
とりあえず やってくるまえに
お断り表明を書くことを決定。
robots.txtに以下を追加
(たくさんあるばあいは他の設定と改行で隙間をつくること)
User-agent: ia_archiver
Disallow: /