Yomi-Search 登録に関する問題点

Yomi-Search は登録しているサイト (C) にジャンプするときに、何回ジャンプされたか等をカウントする機能がある。その機能があるため、一度 CGI ファイル (B) を経由してから目的のサイト (C) を表示する仕組みになっている。問題となっているのは C よりも B の方が YST で上位に表示されると言うことだ。

　A. Yomi-Search の設置ページ
　B. Yomi-Search のジャンプ回数カウントページ
　C. 目的のページ

ここで、ロボットの動きを説明する。

I. まず、クローラが 2 番の URL にアクセスをする。

II. アクセスしたときに HTTP ステータスコードが 200 OK であれば、ソースコードを取得する。

III. ソースコードの中にあるリンクを抽出し、DB に格納する。

ロボットは単純な動きをする。ただし、3 番目の URL にアクセスしたときに、II の 200 OK を返さないために Google と YST では動きが異なる。では 200 OK を返さないときの II を解説する。3番目 の URL にアクセスをすると、HTTP ステータスは 301 Moved Permanently か 302 Found となる。それぞれで動きが違うので、それぞれ説明したい。

◆ Google
II-301. アクセスしたときに HTTP ステータスコードが 301 Moved Permanently であれば、Location で指定された URL に DB を上書きする。

II-302. アクセスしたときに HTTP ステータスコードが 302 Found であれば、Location で指定された URL にアクセスし直す。アクセスし直した先が 200 OK を返すとソースコードを取得する。

結論：Google で検索した場合、301 でリダイレクトされている場合は、1 のソースコードは 1 しか持っていないため、検索にヒットするのは 1 のみである。302 でリダイレクトされている場合は、1 のソースコードを 1, 3 が持っているため、検索にヒットするのは 1, 3 がヒットする。同じソースコードであるため、場合によっては本当のサイトがミラーサイトとして、検索結果に表示されなくなる。

◆ YST
II-301. アクセスしたときに HTTP ステータスコードが 301 Moved Permanently であれば、Location で指定された URL にアクセスし直す。アクセスし直した先が 200 OK を返すとソースコードを取得する。

II-302. アクセスしたときに HTTP ステータスコードが 302 Found であれば、Location で指定された URL にアクセスし直す。アクセスし直した先が 200 OK を返すとソースコードを取得する。

結論：YST で検索した場合、301, 302 に関わらず、1 のソースコードを 1, 3 が持っているため、検索にヒットするのは 1, 3 がヒットする。同じソースであるため、順位付けで本来のサイトよりも Yomi-Search のアドレスの方が上に表示される場合がある。

Yomi-Search は Google にとってはメリットはありそうだが、古いバージョンの Yomi-Search では 301 ではなく、302 でリダイレクトされているため注意が必要だ。YST は 301 も 302 も同じ処理をするため、本来のサイトよりも上位に表示される場合がある。

HTTP ステータスを返すのは、Yomi-Search を設置しているサーバであるため、登録者がステータスコードをいじることはできない。また、クローラが Location で指定された URL にアクセスするときに REFERER に元の URL を設置してアクセすることもない。

では、登録する URL を変えてみてはどうだろうか？例えば、Yomi-Search に登録する URL を http://www.su-jine.com/redirect.php 等とする。この URL は自分のサイトであるため、クローラの制御も可能である。YST のクローラが redirect.php にアクセスがあったら空白ページを表示する。それ以外は 301 で http://www.su-jine.com/ にリダイレクトする。こうすれば、YST で Yomi-Search の方が上に表示されることはなくなるはずである。