どこからもリンクされていないページがクロールされる
「ポイ探」というドメインは、去年の 12 月に取得したわけだが、このドメインはどこからもリンクされていなかった。にもかかわらず、YST, Google はリリース前にクロールしていったわけだ。特に YST で「ポイ探」を検索 すると既に 76 件ヒットしている。Google のクローラも何度か訪れたが、Google の方はトップページのみインデックスされていた。クロール自体は下位のページもクロールしていたが、トップページ以外はインデックスされていなかった。
Google の場合はツールバー経由で新規ページを見つけると言うことも可能だが、YST, msn, Google の URL 申請ページは機能しているのか (2) を見る限りでは、ツールバー経由のみではロボットはアクセスしてこないようだ。YST はツールバーをインストールしていないので、YST がこのドメインを知るはずがない。ということは、新しく取得されたドメインをチェックしているということだろうか。もしドメインの whois 情報までチェックしているのであれば、whois 情報 (取得日とか取得者等) も検索結果に反映されている可能性もあるわけだ。
投稿者 Su-Jine : 2006年04月03日 00:20
↑エイプリルフール
Su-Jine の独り言
↓プレスリリース
このエントリーのトラックバックURL:
Googleがドメイン情報を利用することについては、このあたりに書かれていますね。
http://kotonoha.main.jp/2005/07/01google-patent2.html#m_p1_8
クロールして見つけたサイトのドメインを事後にチェックするのだとばかり思っていましたが、まさかクロールしていない新規ドメインまでチェックしているとは思いませんでした。
本来があまりいい方法ではないものの、「こっそりサイトを作る」にあたっては、ドメイン直下にコンテンツを載せるのは避けたほうがよさそうですね。
投稿者 幸之介 : 2006年04月03日 03:14
http://internet.watch.impress.co.jp/cda/news/2005/02/02/6324.html
この辺の記事も関係あるかもしれないですね。どこまでチェックしているのかはちょっとわかりませんが、新しいサイトを作るときは .htaccess 等でパスワードをかけておくのが良いかもしれません。
投稿者 Su-Jine ![[TypeKey Profile Page]](http://blog.su-jine.net/nav-commenters.gif){kind=small}
: 2006年04月03日 07:53