ホスト規制 (＆ robots.txt、SEO)
あまり多くに来てもらうと
転送量オーバーなどで
訪問者がみれなくなります。
不要なホストは .htaccessで撃退しましょう
さくらの場合は、
上位で規制すると全体に規制がかかるので便利です。
下位階層に適用しないサーバーは、要注意。
みられてこまるフォルダ名は、かかずに htaccessなどで対処しましょう
| おすすめ ホスト規制 |
| archive.org |
つよくお勧め
拒否する前に robots.txtを読ませてから、
アクセス規制するとよいかも |
| .mil |
ふさぐと別からきそう・・・
でも 無駄なアクセス反対 |
| .gov |
ここも・・・
無駄なアクセス反対 |
| hatena.ne.jp |
従わないので強制退去。 |
| picsearch.com |
ねこそぎアクセスしてきます。
きをつけましょう・・・ |
| exabot.com |
|
| 64.124.85.212 |
BecomeBot |
| eva03.razil.jp |
？ |
別ホストでやってくることも十分ありますので
robots.txt にも 拒否書いておきましょう
くっついていると 境目を認識しないので
サイトとサイトは
行間を１行（空行）以上あけましょう。
| やってきたドメイン |
robots.txt
|
| archive.org |
User-agent: ia_archiver
Disallow: / |
| picsearch.com |
User-agent: psbot
Disallow: / |
| hatena.ne.jp |
User-agent: Hatena Antenna
Disallow: / |
| 64.124.85.212 |
User-agent: BecomeBot
Disallow: / |
User-agent: *
Disallow: /images/
User-agent: ia_archiver
Disallow: /
User-agent: psbot
Disallow: /
User-agent: Hatena Antenna
Disallow: /
|
あげると きりがないので あとは やってきたら
いらないものは撃退しましょう
全部拒否して、必要な物を許可する方法もあります・・・
きてほしいところの ボットの名前を網羅できるかが問題ですけどねぇ。。。。
名称変更とか・・・
| 拒否して 一部許可する？ |
User-agent: *
Disallow: /
User-Agent: Googlebot
Disallow:
User-agent: msnbot
Disallow:
User-agent: Slurp
Disallow:
User-agent: ichiro
Allow: /
User-agent: Infoseek SideWinder
Disallow:
Crawl-delay: 1
|
※ 上記は ほとんどＰＣ用エンジンです
携帯使っていないので、
主に日本で
携帯用の検索エンジンは、なにがあるのかしらないので
わかりません。 |
Crawl-Delay: 秒数
で巡回間隔をしてできる場合もあります。
１秒の場合
Crawl-delay: 1
おまけ
robots.txt
・自動収集ソフトへのお願いを書いた普通のテキストファイル
・だから人もみれるので、みられて困る内容は書かない。
・書式を間違えると、ダメ
・書いても、あくまでもお願いなので多々無視されることもある。
・トップフォルダのrobots.txtしかみないソフトがほとんど。
» ホスト規制 (＆ robots.txt、SEO) ロボットよ さようなら'">続きを読む
無料など
