検索エンジンがどのようなしくみで動いているかを理解することは、SEO対策を行ううえで非常に重要です。まずは検索エンジンの基本的な動きを理解し、SEO対策に活用できるようにしてください。

  • ロボット型検索エンジンが主流である
  • リンクは検索エンジンの通り道
  • まずクロールされ、インデックスされないことには検索結果に表示されない
  • リンクが多いほど高評価に繋がる
  • 検索エンジンスパムはアルゴリズムに排除される

ディレクトリ型検索エンジンとロボット型検索エンジン

検索エンジンには大きく2つの種類がありました。
1つは、2014年まで運営されていた 「Yahoo!ディレクトリ」や「DMOZ」などに代表される『ディレクトリ型検索エンジン』と、もう1つは、「Google」や「bing」などに代表される『ロボット型検索エンジン』です。

ディレクトリ型検索エンジン

まず、ディレクトリ型検索エンジンは、人がウェブサイトを審査して登録するため、表示されるウェブサイトの質が高いというメリットがあります。
しかし一方で、登録申請されていないウェブサイトが検索結果に表示されることはないため、ユーザーが検索できる情報が限られるというデメリットがあります。

昔は、カテゴリ(ディレクトリ)ごとに登録されたウェブサイトの中から検索するディレクトリ型検索エンジンが一般的でした。
このディレクトリ型検索エンジンにウェブサイトを登録するには、検索エンジンにウェブサイトの登録申請を行って、審査に合格しなければなりませんでした。

ロボット型検索エンジン

それに対してロボット型検索エンジンは、人による登録審査を行いません。
世界中のウェブサイトを「クローラー」と呼ばれるロボットが自動的に巡回し、ウェブサイトを自動的に登録するわけです。
ですので、ロボット型検索エンジンは、ディレクトリ型検索エンジンに比べて圧倒的に登録サイト数が多いのが特徴です。

今では、Googleを中心としたロボット型検索エンジンが一般的となり、わざわざディレクトリ型の検索エンジンにウェブサイトを登録するサイトオーナーもほとんどいなくなりました。
そのため、ロボット型検索エンジンの仕組みや挙動をしっかりと理解しておくことが重要です。
では、ロボット型検索エンジンは、どのようにしてウェブサイトを発見し、登録していくのでしょうか。

検索結果に表示されるまでの流れ

クロールとインデックス

前述のとおり、ロボット型の検索エンジンでは、世界中のウェブサイトをクローラーというロボットが自動的に巡回し、ウェブサイトを自動的に検索エンジンに登録します。
この巡回のことを「クロール」と呼び、クロールされたウェブサイトが検索エンジンに登録されることを「インデックス」と呼びます。

検索エンジンの検索結果ページにはインデックスされたウェブサイトが表示されるわけですが、裏を返せば、検索エンジンにインデックスされなければ、検索結果にウェブサイトが表示されることはないということになります。
ということは、そもそもクロールされることがなければ、検索エンジンの検索結果ページにウェブサイトが表示されることはないということになります。
つまり、クローラーがどのようにウェブサイトをクロールするかをおさえておくことが重要なポイントになりますね。

リンクの重要性

自動的にクロールとインデックスを行うロボット型検索エンジンとはいえ、まったく知らないURLをクロールすることはできません。
そのため、検索エンジンは、より多くのURLを見つけるための手段として、既知のウェブサイトに掲載されている「リンク」を利用します。

このリンクをたどってクロールしていくことにより、世界中にある未知のウェブサイトを一つ一つ発見し、インデックスしていくというしくみなのです。
つまり、インターネット上に立ち上げたばかりで、どのウェブサイトからもリンクでつながっていないウェブサイトのURLを発見することは、ロボット型検索エンジンでも不可能なのです。

そこでウェブサイトのオーナー(ウェブマスター)は、ウェブサイトを立ち上げると同時に、外部からのリンクを確保しておく必要があります。
また、インデックスの促進のみの方法であれば、直接検索エンジンにウェブサイトのURLの申請を行ったり、検索エンジン向けのサイトマップなどを申請したりすることもできます。
この作業を行うことで、ウェブサイトがクロール、インデックスの促進を行うことも可能です。

Googleのアルゴリズム

リンクとページランク

SEO対策におけるリンクの役割は、ウェブサイトをクロールしてもらうという役割だけではありません。
実際、検索エンジンは、リンクをウェブサイトの人気度・重要度を計る指標としても利用しています。
つまり、多くのウェブサイトからリンクされているウェブサイトであれば、人気のあるウェブサイトだと言えるのではないか。ということです。

リンクによってウェブサイトの人気度・重要度を計る仕組みとしては、Googleの特許が有名で、「PageRank(ページランク)」といいます。
GoogleはこのPageRankの技術を用いて、世界中のウェブサイト・ウェブページの一つ一つの評価指標としてリンクを利用しています。
このページランクの詳細については後述しますが、Googleをはじめとする検索エンジンは、リンクをウェブサイトへの人気投票のように捉えているとえます。

たとえば、あるユーザーが、ブログやSNSなどにリンクを貼り付け、あるウェブサイトのコンテンツを紹介したとします。
このときのリンクを貼ったユーザーの心理についてよく考えてみてください。
なぜユーザーは、ブログやSNSなどにリンクを貼り付けて、他者のウェブサイトのコンテンツをわざわざ紹介したのでしょうか。
おそらくは、多くの場合「お得」「美味しい」「面白い」「共感できる」など、コンテンツに対して何かしらのポジティブな印象を持ったことによって、紹介するという行動に至ったのではないでしょうか。

一般的には、何かに対してポジティブな印象や感想を持った場合、人は他者にそれを共有したり、共感したりしたくなり、紹介という行為に及ぶものです。
検索エンジンは、こうした人の行動や習性を、ウェブサイトの評価の1つとして応用していたわけです。
そのためウェブサイトへの外部からのリンクが多ければ多いほど、より多くの人気投票がなされているものとみなされ、ページランクが上昇するという仕組みになっているのです。
リンクをたくさん受けて、ページランクが高くなればなるほど、検索エンジンの検索結果ページの上位にウェブサイトが表示されやすくなるため、SEO対策では非常に重要なポイントとなります。

検索エンジンから見たウェブサイト

検索エンジンは、外部からのリンクをもとにウェブサイトの人気度・重要度を判断していると解説しましたが、もちろんそれだけでウェブサイトの評価がすべて決められているわけではありません。
検索エンジンはリンクに代表されるウェブサイトの外部の状況だけでなく、ウェブサイトの中身そのものをも解析して、評価の基準としています。

そのウェブサイト・ウェブページに、どのような内容がどのように書かれているのかを極力正しく理解し、評価に反映させようとしています。
そのためSEO対策では、検索エンジンがいかにしてウェブサイトを認識して評価しているのかを把握しておくことが重要となります。

ここでおさえておきたい前提は、検索エンジンがウェブサイトを認識する方法と、人間がウェブサイトを認識する方法が異なるということです。

人がウェブサイトを認識する場合は、Internet ExplorerやSafari、Google Chromeなどといったウェブブラウザに表示されるレイアウトの組まれた視覚的なコンテンツを対象としますが、検索エンジンも同じようにウェブブラウザ上のコンテンツを読んでいるというわけではありません。
どういうことかというと、ウェブサイトの構築に使われるHTML(ハイパーテキストマークアップランゲージ)というマークアップ言語を読んでいます。
検索エンジンは、このHTMLで定義されたコンテンツを読み、理解した上で評価をするという仕組みになっています。

HTML文法やルールの重要性

ウェブサイトは、ウェブサイトの基本を形成するHTMLや、ウェブサイトのみためをつかさどるCSS(カスケーディングスタイルシート)、あるいは動的表現を可能にするJavaScript(ジャヴァスクリプト)などといった言語で記述されています。
検索エンジンは、このHTMLやCSS、JavaScriptなどの言語を直接読むことで、そのウェブサイトがどのような構造であり、そこにどのようなことが書いてあるのかを理解します。
ここで重要になるのは、このHTMLやCSS、JavaScriptにも文法やルールが存在するということです。

ウェブブラウザ上の表示が人間には同じように見えても、一方のウェブサイトでは文法やルールが守られ、一方のウェブサイトでは文法やルールが守られていない場合、前者よりも後者のほうが低く評価されることになってしまう可能性があります。
なぜかというと、HTMLには、ある文字列に対して、その文字列がどのような役割を果たすものなのかを指定する役割があり、その役割を読みとって、コンテンツの文書構造を理解しようとするためです。
例えば、titleタグの場合は、文字通りこのページのタイトルを意味する文字列である。ということや、hタグの場合は、その文字列が見出しであるというように、文字列がなす役割を伝えています。
言語の文法やルールをしっかりと理解して、正しくウェブサイトを記述することが、検索エンジンに評価されるウェブサイトを作ることにつながるのわけです。

検索エンジンスパム・ブラックハットSEOとホワイトハットSEO

このように、様々な仕組みでウェブサイトを評価付けしようとする検索エンジンですが、これらの仕組みを逆手にとって、上位表示を強行しようとするウェブマスターが現れました。
このような手法を「ブラックハットSEO」といい、対して、検索エンジンの理念に則り、良質なコンテンツを作成することでSEOを行うことを「ホワイトハットSEO」といいます。

SEO対策とは?でも軽く紹介した通り、ブラックハットSEOを行うウェブマスター達は、検索エンジンの仕組みを利用し、様々な手法で検索上位を獲得しようとしてきました。

例えば、リンクを多く受けていると、上位表示されるという仕組みを逆手にとって、「自作自演の外部リンクを制作する」ということを行うウェブマスターが現れました。
これに対し、検索エンジンがわは、不自然なリンクが多数貼られているサイトに対して、リンクの効果を無効化したり、悪質なものにはペナルティを与えたりすることで対応しています。

コンテンツに、検索キーワードが多数含まれているサイトが上位表示されているという話になれば、「不必要にキーワードを詰め込む」「人の目には見えない隠しテキストを仕込む」というSEOスパムが流行りました。
当時は、キーワードの出現頻度というものが重要視されている時代でしたが、これに対しては検索エンジンも、文脈を理解したり、共起語がどれだけ含まれているかなどを判断できるようにアルゴリズムを更新して対応してきました。

このように、ブラックハットなSEOは検索エンジンによって淘汰されてきましたが、検索エンジンがブラックハットSEOに対応するために行ったアルゴリズムの更新の中でも、特に影響の大きかったものを紹介します。

ペンギン・アップデート

ペンギン・アップデートとは、2012年4月に適用された、スパム行為や、ウェブマスター向けガイドラインに著しく違反しているWebページに対して検索結果の順位を下げる為のものです。
例えば、他のサイトのコンテンツを改変、加工したコンテンツ品質が低いサイトや、検索ユーザーにとって意味のないリンク集、PageRankの受け渡しのみを目的とした意味のないリンクネットワークのようなものの順位を下げるという為のアルゴリズムアップデートです。

パンダ・アップデート

パンダ・アップデートとは、2012年7月に日本にも導入された、低品質なコンテンツが検索結果上位に表示されにくくするためのアルゴリズム・アップデートのことです。
例えば、独自性や専門性が低いサイトや、広告の占める割合が多いサイト、薄っぺらいコンテンツや、コピーサイトなどの順位を下げるという為のアルゴリズムアップデートです。

ペンギン・アップデートもパンダ・アップデートも、低品質なサイトの順位を落とすことによって、検索ユーザーの目に触れないようにすることを目的としています。
低品質なサイトが検索上位にあると、検索ユーザーは検索結果に不満を持つようになるでしょう。
そうならないためにもGoogleは検索エンジンスパムや、ブラックハットSEOと常に戦っているんですね。

RankBrain (ランクブレイン)

RankBrain (ランクブレイン)とは、人工知能が機械学習によって、検索クエリとコンテンツの関連性を判断するAIベースのアルゴリズムのことで、2015年頃に導入されました。

この人工知能がどのように検索結果に影響を与えるかというと、例えば、コンテンツにキーワードが入っていなくても、キーワードに対して有益なコンテンツであれば検索結果に表示させることができたり、ユーザーが本来求めているコンテンツが何であるのかを理解し、最適な検索結果を表示させることができるように日々自動的に改善を繰り返すことができるようになりました。

まとめ

かなりざっくりと書いたつもりで、細かな点まで解説すれば、まだまだ深く掘り下げることができますが、それはもう少し知識が深まってから覚えてもいいでしょう。

と、いうことで、検索エンジンは、様々な仕組みで検索ユーザーが求めるコンテンツを適切に届けるために日々改善を行ってい流ことがわかったと思いますが、
たとえ検索エンジンの仕組みを逆手にとって、テクニカルな方法で上位表示に成功したとしても、本質的にそのコンテンツが検索ユーザーに求められていないものであれば、それはいつか必ず上位から蹴落とされます。
SEO対策で重要なのは、上位化したいキーワードを検索するユーザーのニーズをしっかりと理解し、求められているコンテンツを提供することなのです。

簡単なことではないかもしれませんが、その努力の繰り返しが、ウェブサイトをSEOタイアsく以外の面でも成長させてくれることと思います。

All rights reserved cocorograph Inc.