日記帳
本ページはプロモーションが含まれています
カテゴリー
Links
blog(ブログ)マスター
アンドロイドの巣
ゼロから始めるベランダ菜園
タイトル
2024年11月
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30

Search Results


2012.4  The robot lists

うーん ログになんかみたことないアドレス。
しかも、月に7860回もアクセスしています。
.htaccessで拒否にいれてあげようかと思いましたが(ドメインブロック)
.go.jpドメインを参照してとあるので
とりあえず様子見。
※後日whois.jpドメイン管理情報を閲覧して本当に
.go.jpか調べます。

 [Domain Name] JGN-X.JP
 [登録者名] 独立行政法人情報通信研究機構

あとは、定番のロボしかlogに載っていないので
今回の定期ログ検閲は、問題なし。

ホスト名
host name
gw.ucri.jgn-x.jp
IP
-
ユーザーエージェント
UserAgent
ICC-Crawler/2.0 (Mozilla-compatible; ; http://kc.nict.go.jp/project1/crawl.html)
なんだろう ね?
行動分析や
犯罪捜査などに利用しているのかな?

検索エンジンでもないので、
サーバー負荷でペナルティー受けるリスクを考えると
協力する必要性は限りなくないですね。

アクセスお断り 拒否したい場合は

(.htaccess)
Deny from jgn-x.jp
SetEnvIf User-Agent " ICC-Crawler" setuzoku_kyohi
Deny from env=setuzoku_kyohi

(robots.txt)
User-agent: ICC-Crawler
Disallow: /


ホスト名
host name
crawl-数字-数字-数字-数字.googlebot.com
IP
-
ユーザーエージェント
UserAgent
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google の自動サイトデータ収集ソフトウェア

ホスト名
host name
msnbot-数字-数字-数字-数字.search.msn.com
IP
-
ユーザーエージェント
UserAgent
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm
前から bing? だったかな?
以前は、これだったみたい。
msnbot/2.0b (+http://search.msn.com/msnbot.htm)._

アクセスの80%は検索エンジンですけど、
利用統計 トップ 30 of 45 国
をみると、いろんな国からアクセスがあるのですね。
遠くに住む日本の方がアクセスしている場合もあるようです。

2012.05.18

gw.ucri.jgn-x.jp
というアドレスが数万件アクセスしてきていて

2015年2月
堂々の当ドメインへのアクセスランキング第1位

パンパカパーン おめでとうございます。

いやいや ちょっと勘弁してよ
サーバー負荷でペナルティー受けたらどうしてくれるの???
ってことで

とその前に検索
2012.4 The robot lists
あれ、以前から当サイトで検知してますね(^^;;

アクセス拒否 決定
いやー 3年近く この存在を放置してしまっていたとは

といことで以前の記事にもアクセス拒否方法を掲載しました。

» 続きを読む

カテゴリー: General
2015.02.14

PR

[PR]