(用語解説シリーズ)　クローラーとは(2) - ワーディングラボ | 検索エンジンとSEOとネット広告のコラム

ここで書くのは基礎編と称して書くので、知ってる人には言わずもがななんですけども。こちらはSEO屋で売る側なので、こういう風にやるといいですよ〜というおはなしのシリーズ。

最近は、SEOに関する用語が結構普及してきたんですけど、誤解があるなあということでまとめてみましたですよ。

さて、前回でクローラーについて基礎的な説明をしたので、

タグをページに貼り付けるタイプのアクセス解析だと、見えないことがあります。

このタイプのアクセス解析の作動原理は、調査用の画像タグを貼り付けておくものです。

その調査用画像が読み込まれるとログが記録されるものです。

普通のブラウザはページを読み込むと、ほぼ自動的に画像を読みこむのでアクセスログが取られます。

昔のクローラーは画像は読み込まなかったので、このタイプでは引っかかりませんでした。

質問のケースはこの場合です。

とはいえ、今の主要なクローラーは画像も収集するようになってからは、検出できるケースが多いかなあと。

携帯サイト用のクローラーは画像を読まないのでイメージタグ貼り付けはダメだったと思いますヨ。

だから、クローラーが来たかどうかを見るのは、もっと凝ったことをする必要があります。

簡単なのはHTTPサーバーのログを見ること。

あとは、ページ送出をphpなどのプログラムで組んで、送出リクエストをログ取ること。

とはいえ、クローラーがいつ来たかなんて全然重要じゃないんです。はは。

このあたりはすごく誤解されてますよね。

これは追って説明します。

それはクローラーじゃなくて普通の人間のユーザーです。

アクセス解析のデータのうち、リファラー(Referrer)の情報を見ているんですね。

ユーザーがどこのリンクをたどってきたかが分かるのがリファラーの情報です。

検索エンジン経由だと、検索結果ページのURLがリファラーに出ます。

http://yahoo.co.jpとかhttp://google.co.jpとかで始まっているのはそれです。

この誤解もときおりあるんですよ。

アクセス解析のデータって初めて見るとわけが分からないものですからね。

クローラーはそんな高頻度では普通は来ません。

次に続きます。

written by asotetsu August 16, 2007