検索エンジンの歴史としくみ

By 2017年6月14日 4月 10th, 2019 SEO
検索エンジンがどのようなしくみで動いているかを理解することは、SEO対策を行ううえで非常に重要です。まずは検索エンジンの基本的な動きを理解し、SEO に活用できるようにしてください。

ディレクトリ型検索エンジンとロボット型検索エンジン

検索エンジンには大きく2つの種類がある。1つは、2014年まで運営されていた Yahoo! ディレクトリやDMOZなどに代表される「ディレクトリ型検索エンジン」であり、もう1つは、Googleやbingなどに代表される「ロボット型検索エンジン」である。

ディレクトリ型検索エンジン

かつては、カテゴリ(ディレクトリ)ごとに登録されたWebサイトの中から検索するディレクトリ型検索エンジンが一般的だった。 このディレクトリ型検索エンジンにWebサイトを登録するには、検索エンジンにWebサイトの登録申請を行って審査に合格しなければならない。 ディレクトリ型検索エンジンでは、人間がWebサイトを審査して登録するため、表示されるWebサイトの質が高いというメリットがある。 しかし一方で、登録申請されていないWebサイトが検索結果に表示されることはないため、ユーザーが検索できる情報が限られるというデメリットがある。

ロボット型検索エンジン

それに対してロボット型検索エンジンは、人間による登録審査を行わない。 世界中のWebサイトを「クローラー」と呼ばれるロボットが自動的に巡回し、Webサイトを自動的に登録するのである。 そのためロボット型検索エンジンは、ディレクトリ型検索エンジンに比べて圧倒的に登録サイト数が多いのが特徴である。 今では、Googleを中心としたロボット型検索エンジンが一般的となり、わざわざディレクトリ型の検索エンジンにWebサイトを登録するオーナーも少なくなった。 そのため、ロボット型検索エンジンの挙動をしっかりとおさえておくことが重要である。 ではロボット型検索エンジンは、どのようにしてWebサイトを発見し、登録していくのだろうか。

クロールとインデックス

前述のとおり、ロボット型の検索エンジンでは、世界中のWebサイトをクローラーというロボットが自動的に巡回し、Webサイトを自動的に検索エンジンに登録する。この巡回のことを「クロール」と呼び、クロールされた Webサイトが検索エンジンに登録されることを「インデックス(※1)」と呼ぶ。 検索エンジンの検索結果ページにはインデックスされたWebサイトが表示されるわけだが、裏を返せば、検索エンジンにインデックスされなければ、検索結果ページにWebサイトが表示されることはない。 要するに、そもそもクロールされなければ、検索エンジンの検索結果ページにWebサイトが表示されることはないということである。 そこで、クローラーがどのようにWebサイトをクロールするかをおさえておくことがポイントとなる。

リンクの重要性

いくら自動的にクロールとインデックスを行うロボット型検索エンジンとはいえ、まったく知らないURLをクロールすることはできない。 そのため検索エンジンは、より多くのURLを見つけるための手段として、既知のWebサイトに掲載されている「リンク」を利用する。 このリンクをたどってクロールしていくことにより、世界中にある未知のWebサイトを一つ一つ発見し、インデックスしていくというしくみなのである。 つまり、インターネット上に立ち上げたばかりで、どのWebサイトからもリンクでつながっていないWebサイトのURLを発見することは、ロボット型検索エンジンでも不可能なのである。 そこでWebサイトのオーナー(Webマスター)は、Webサイトを立ち上げると同時に、外部からのリンクを確保しておく必要がある。 この際、直接検索エンジンにWebサイトのURLの申請を行ったり、検索エンジン向けのサイトマップなどを申請したりすることで、確実にWebサイトがクロールされ、インデックスされるように仕向けておくと効果的である。

リンクとページランク

これまでに、検索エンジンにWebサイトをクロールしてもらうために、リンクがどれほど重要であるかについて解説した。 しかしながらSEOにおけるリンクの役割は、Webサイトをクロールしてもらうことだけにとどまらない。 実のところ検索エンジンは、リンクをWebサイトの人気度・重要度を計る指標としても利用しているのである。 ここで重要になるのは、Webサイトが外部からどれだけ多くリンクされているかである。 ページランクのしくみリンクによってWebサイトの人気度・重要度を計るしくみとしては、とりわけGoogleのものが有名である。 その名も「ページランク(PageRank)」という。Googleはこのページランクの技術を用いて、世界中のWebサイト・Webページの一つ一つの評価指標としてリンクを利用している。 このページランクの詳細については後述するが、かんたんにいうと、Googleをはじめとする検索エンジンは、リンクをWebサイトへの人気投票のように捉えているといえる。たとえばあるユーザーが、ブログやSNSなどにリンクを貼り付け、 あるWebサイトのコンテンツを紹介したとする。このときのユーザーの心理についてよく考えてみたい。 なぜユーザーは、ブログやSNSなどにリンクを貼り付けて、他者のWebサイトのコンテンツをわざわざ紹介したのだろうか。 おそらくは多くの場合、「お得である」、「美味しそう」、「面白い」、「共感できる」など、コンテンツに対して何かしらのポジティブな印象を持ったがゆえに、リンクで紹介するという行動に至ったのだろう。 一般的には、何かに対してポジティブな印象や感想を持った場合、人間は他者にそれを共有したくなり、紹介という行為に及ぶものだからである。 検索エンジンはこうした人間の習性を、Webサイトの評価の1つとして応用しているのである。 そのためWebサイトへの外部からのリンクが多ければ多いほど、より多くの人気投票がなされているものとみなされ、ページランクが上昇するというわけである。 ページランクが高ければ高いほど、検索エンジンの検索結果ページの上位にWebサイトが表示されやすくなるため、SEOでは非常に重要なポイントとなる。

検索エンジンから見たWebサイト

検索エンジンは、外部からのリンクをもとにWebサイトの人気度・重要度を判断していると解説したが、もちろんそれだけでWebサイトの評価がすべて決められているわけではない。 検索エンジンはリンクに代表されるWebサイトの外部の状況だけでなく、Webサイトの中身そのものをも解析して、評価の基準としている。そのWebサイト・Webページに、どのような内容がどのように書かれているのかを極力正しく理解し、評価に反映させようとするわけである。 そのためSEOでは、検索エンジンが、いかにしてWebサイトを認識して評価しているのかを把握しておくことが重要となる。 ここでおさえておきたい前提は、検索エンジンがWebサイトを認識する方法と、人間がWebサイトを認識する方法が異なるということである。 人間がWebサイトを認識する場合は、Internet ExplorerやGoogle ChromeなどといったWebブラウザに表示される、レイアウトの組まれた視覚的なコンテンツを対象とするが、検索エンジンも同じように Webブラウザ上のコンテンツを読んでいるというわけではない。

文法やルールの重要性

周知のようにWebサイトは、Webサイトの基本を形成するHTMLや、WebサイトのスタイルをつかさどるCSS、あるいは動的表現を可能にするJavaScriptなどといった言語で記述されている。 検索エンジンは、このHTMLやCSS、JavaScriptなどの言語を直接読むことで、そのWebサイトがどのような構造であり、そこにどのようなことが書いてあるのかを理解する。 ここで重要になるのは、このHTMLやCSS、JavaScriptにも文法やルールが存在するということである。 Webブラウザ上の表示が人間には同じように見えても、一方のWebサイトでは文法やルールが守られ、一方のWebサイトでは文法やルールが守られていない場合、前者よりも後者のほうが低く評価されることになってしまう。 言語の文法やルールをしっかりと理解して、正しくWebサイトを記述することが、検索エンジンに評価されるWebサイトを作ることにつながるのである。
  • POINT
    • ロボット型検索エンジンが主流である
    • リンクが多く集まるWebサイトほど高評価
    • HTML の記述の正しさも評価を左右する