検索エンジンのクローラーについて

昔はIPとかも公開されていたけど、最近はIP公開やめるとことかも多いのでそこら辺の情報を調べて見た。やっぱりユーザーエージェントで対応する方が一般的なのかしら。

ただ、調査した結果現在ほとんどのサービスがGoogleのデータ利用してますね。
※追記・修正点等もしあればどなたかお知らせいただけると幸いです。

(調査日時:2013年9月現在)

Yahoo!JAPAN

※Googleの検索エンジンをOEM利用中。そのデータにYahoo!独自の指標を追加されている

Google

Bing

Goo

DeNA

  • http://crawler.dena.jp/ – 現在サイトなし

Infoseek

  • OEMでGoogleの検索結果を利用中

Livedoor

  • http://help.livedoor.com/search/ – 現在情報なし

※livedoorはinfoseekのエンジンを利用していることもあり実質Googleエンジンを利用中

froute(楽天)

※楽天も現在infoseek検索の為、実質Googleエンジンを利用中

 

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Post Navigation