robots.txt(ロボット・テキスト)について

robots.txt(ロボット・テキスト)とは、ロボット型検索エンジンのクローラーに指示を出すテキストファイルです。例えば、インデックスへ登録されたくないディレクトリやファイルを記述すれば、クローラーの巡回を防ぐことができます。しかし登録されてしまうケースもあり、100％ではないようです。またサイトマップの通知も行えます。クローラーは初めにrobots.txt(ロボット・テキスト)を見に来ますので、必ず作成することをお勧めします。ちなみに「Free Template」にはデフォルトでrobots.txt(ロボット・テキスト)を用意しています。記述方法については以下を参照して下さい。

robots.txt(ロボット・テキスト)の配置先について

robots.txt(ロボット・テキスト)はドメインの最上階層に配置しなければ意味がありません。
例えば当サイトならhttp://www.seo-tp.com/robots.txtに配置します。

robots.txt(ロボット・テキスト)の指示の種類について

User-Agent
クローラーの指定します。又は全てのクローラーを表すアスタリスク(*)を指定します。
Allow
クローラーが巡回してもいいディレクトリやファイルを指定します。Disallowを記述しなければ巡回するので、その際はAllowを記述する必要はありません。
Disallow
クローラーに巡回してほしくないディレクトリやファイルを指定します。
Sitemap
サイトマップを通知します。

クローラーの種類について

  • Googlebot(Google)
  • Slurp(Yahoo)
  • baiduspider(百度)

robots.txt(ロボット・テキスト)の記述方法について

当サイトを例にご説明します。

Sitemap: http://www.seo-tp.com/sitemap.xml

User-Agent: *

Allow: /

特に指示がない場合は上記のように記述します。
サイトマップを通知して、全ての検索エンジンのクローラーへ、全てのディレクトリやファイルを巡回してもいいという内容です。

User-Agent: *

Disallow: /seo-1/

全ての検索エンジンのクローラーへ、/seo-1/ディレクトリ以下全てのファイルへの巡回をしてほしくないという内容です。

User-Agent: *

Disallow: /seo-1/seo.html

全ての検索エンジンのクローラーへ、/seo-1/seo.htmlファイルへの巡回をしてほしくないという内容です。

User-Agent: Googlebot

Disallow: /seo-1/

Disallow: /seo-2/



User-Agent: Slurp

Disallow: /seo-1/

Disallow: /seo-2/

Google、Yahooのクローラーへ、/seo-1/と/seo-2/ディレクトリ以下全てのファイルの巡回をしてほしくないという内容です。