Baiduspider+(+http://www.baidu. com/search/spider.htm): Su-Jine の独り言

2006年09月11日

Baiduspider+(+http://www.baidu. com/search/spider.htm)

Baiduspider+(+http://www.baidu. com/search/spider.htm) と言うロボットがかなりのアクセスを送りつけているようで、Web サーバに負荷がかかっている。

UserAgent でアクセスを制限しても、Web サーバでアクセス制限をしている限り負荷が減らない。iptables でフィルタをかけようにも IP アドレスの範囲が公開されていない。今のところ、60.28.17.X から大量にアクセスがあるので、この範囲で制限をかけた。

ロボット型の検索エンジンを動かすのであれば、もう少し効率の良いアクセスをして欲しいところだ。

投稿者 Su-Jine : 2006年09月11日 22:13

↑オフィスの移転
　 Su-Jine の独り言
↓最近のクローラは…

トラックバック

このエントリーのトラックバックURL:

このリストは、次のエントリーを参照しています: Baiduspider+(+http://www.baidu. com/search/spider.htm):

» 百度のロボットBaiduspider+(+http://www.baidu.com/search/spider.htm) from BSDあれこれ
SEO対策で有名なSu-Jineさんのブログでも話題に出ていたが、百度のロボット... [続きを読む]

トラックバック時刻: 2006年09月20日 22:18

» 最近のクローラは… from Su-Jine の独り言
先日、Baiduspider に関する記事を書いたが、最近他にもよくわからないクローラが回ってくる。 User Agent が「Mozilla/4.0 (... [続きを読む]

トラックバック時刻: 2006年09月25日 15:46

トラックバック時刻: 2006年09月25日 15:49

Su-Jin様、いつもお世話になっております。
私もこいつにはかなり悩まされたのですが、.htaccessの記述でuser-agentにより弾くようにしました。
今のところ、偽装してまではやって来ないようなので効果はあったようです。
こいつ以外にもCNからは変なクローラーがきてますね。
百度の酷いのは、dos並みのアクセスをしてくる事です。
何とかしてほしいです。

投稿者ミントクローズ : 2006年10月16日 21:25

.htaccess ではじいても、Web サーバにはアクセスされているので、Web サーバに負荷をかけないようにするには iptables ではじくしかないかなぁと思っています。

投稿者 Su-Jine : 2006年10月17日 18:35

15秒に一度来て迷惑なのでfwでDROP
現状は122.152.128.13なのでとりあえず/23を。

投稿者 victory : 2007年06月23日 08:21

コメントしてください