(用語解説シリーズ) クローラーとは(1)

ここで書くのは基礎編と称して書くので、知ってる人には言わずもがななんですけども。こちらはSEO屋で売る側なので、こういう風にやるといいですよ〜というおはなしのシリーズ。

最近は、SEOに関する用語が結構普及してきたんですけど、誤解があるなあということでまとめてみましたですよ。

クローラー(Crawler)とは

クローラーについて意外に誤解が多いんです。クローラーが来たら順位が変わるんですね、とか。んー、100%違ってはいないけど、そう直接的なものじゃないんです。

検索エンジンが放っているクローラーというのは、自動プログラムで、ネットの中の情報を収集してます。

ま、ボクらがブラウザでリンクをたどってネットサーフィン(死語ですな)をしてる感じでプログラムがやってます。

別名、スパイダー(spider)ともいいます。Web(くもの巣)をたどるスパイダー(蜘蛛)というわけです。ほかにも、クローラーロボットとか、スパイダーロボットとか、「ロボット(Robot)」をつけることもあります。単体でロボットとも言いますね。要は自動プログラムなので、それを指してロボットと言ったりするわけです。

用語をここらで整理しておくと、

クローラー＝クローラーロボット＝スパイダー＝スパイダーロボット＝ロボット

という感じでヒトそれぞれ使ってますが、要は同じものを指しています。

どこのクローラーか？

また、クローラーというのは、ヤフーのクローラー、グーグルのクローラー、MSNのクローラー、Baiduのクローラー、あとは訳分からんとこのクローラー、など派遣元が必ずあります。

大手の検索エンジン会社は、クローラーのUA(User Agent: ユーザーエージェント) でそれぞれのクローラーである旨名乗っていますので、アクセスログを見ると、どこのクローラーがいつやってきたかがわかります。

UAとは、User Agentの略で、見に来た側のプログラム名です。こんなブラウザ使ってますよ、と申告するルールなんですな。

例えば、ブラウザでIE6を使っていれば、下記のようなUAになったりします。

　Mozilla/4.0 (compatible; MSIE 6.0; Windows XP)
ちなみに、IE6は細かなバリエーションがあるので、UAも細かく違うので一例です。

Yahooのクローラーはこんな感じ。

　Yahoo! Slurp

Googleのクローラーはこんな感じ。

　Googlebot

それぞれ携帯サイト用のクローラーも専用の名前がありますし、クローラーもいくつかバリエーションがあります。

これらのクローラーのUAをアクセスログで見かけると、それぞれのクローラーが収集に来たなあと分かります。

さて。長くなってきたので次に続きます。

written by asotetsu August 16, 2007

• -