robots.txtとは?効果的な活用方法

Google
ウェブマスターにとって、サイトのSEOは命題。有料広告に頼ることなく適切なキーワードで集客できれば、組織への貢献度は大きく高まります。

Googleは現在「コンテンツファースト」を掲げ、検索するユーザーにとって、一番有用であろうコンテンツを提供しようとしています。そして、そんな環境下、運営しているサイトがどれだけ最適化されているかが自然検索の結果を分けるようになってきています。

今回は、そんなSEO施策の中の一つであるrobots.txtについて説明します。robots.txtをうまく利用して、ご自身のサイトのSEO最適化が進めば幸いです。

スポンサードリンク

robots.txtについて

robots.txtを使う理由とは?

robots.txtを利用することはSEO最適化の施策の一つ。Wordpressの自動で生成されてしまうカテゴリーページなど、ユーザーにとって意味をなさず、検索上でも表示させる必要性のないページをクロールさせないようにするものです。これにより、クロールしてほしいページにより多くのクローラーがまわるようにすることができ、結果的にSEOが改善されるという理論です。

robots.txtを指定するページとは?

robots.txtを使って指定するページはご自身で決めることになりますが基本的に「ユーザーにとって意味をなさない、価値を持たないページ」という判断で行っていただくことになります。例えば、Wordpressで記事一つを作るときに同時に生成されてしまうカテゴリーページなどはそれに当たってくると思います。※カテゴリーページが意味を持つものになっていればもちろん残しておけると思います。

robots.txtの設置場所

robots.txtは基本的にルートドメインにアップします。たとえば「http://www.XXXXXXX.com/robots.txt」のように置きます。

robots.txtの記述方法

詳しくはGoogleのSearch Consoleのヘルプに載っていますが、基本的な記述の仕方についてこちらで説明します。

User-Agent:

User-Agent:はどのクローラーを制御するか指定するものです。Wordpress等では「*」がデフォルトで入っていたりしますが、「*」はすべてのクローラーに指示することを指しています。基本的にこの設定で大丈夫です。

Disallow:

Disallow:は、クローラーのアクセスを制御するファイルやディレクトリを指定するものです。
代表的な例を以下に記します。

・サイト全体をブロックする:Disallow:/
・特定のディレクトリとその中身をすべてブロックする:Disallow:/*****/
・特定のページをブロックする:Disallow/*****.html

Allow:

あるディレクトリ配下の特定のページだけクロールするようにしたいという場合に利用します。
例を以下に記します。

Disallow:/*****/
Allow:/*****/***.html

Sitemap:

robots.txtにSitemap:を明記すると、積極的にGoogleが読みに行くようになります。

robots.txtをアップロードする前に

robots.txtをアップロードする前にSearch Consoleで確認することをおすすめします。Search Console内に、robots.txtの確認ツールがあるので使ってみてください。

以上になります。SEOはGoogleのアルゴリズム次第と言われる部分ではありますが「コンテンツファースト」の考え方はGoogleの根底にありそれは変わっていません。ユーザーにとって有用なページを提供することを常に考え、検索においても、ユーザーにとって不要と思われるコンテンツをブロックさせ、有用なコンテンツへのクロールを促すことでサイト全体がGoogleによって評価されるようになると思います。ぜひこのrobots.txt有効に活用してみてください。

スポンサードリンク