robots.txtを簡単に作れるWebサイト「robots.txt.Maker」

Web制作

普段は使っているWordPressだと「robots.txt」は自動的に作られるので内容をあまり気にしたことがなかったこともあり、静的なWebページを作ったときになにを書くのかすっかり忘れてしまっていたところ、必要な項目を入力するだけで「robots.txt」が簡単に作れるWebサイトを見つけました。

今回やりたかったこと

WordPressから静的htmlに切り替えたWebサイトについて、Googleウェブマスターツールで「『robots.txt』にアクセスできませんよ」と注意されてしまったので、robots.txtを手動で作って設置する必要がありました（WordPress関連のファイル一式をサーバから削除してしまったのでrobots.txtがなくなってしまった）。

Webmaster robot 01 2

やったこと

robots.txtの作り方を忘れていたので、簡単に作れそうなWebサイトを見つけてそれで作りました。

便利なWebサイト

下記のサイトを利用させていただきました。
→ robots.txt.Maker-SEO対策TIPS
[browser-shot url=”http://seo.webcreativepark.net/seo_tool3/” width=”610px”]

使いかた

サイト内の各項目を入力していきます。

  1. 指定する検索エンジン　→　「すべての検索エンジン」でよいと思います。
  2. クロールを拒否するディレクトリ　→　あれば記入します。（images、styleフォルダなど）
  3. サイトマップのURL →　サイトマップが設置されている場合そのURLを書きます。

Sc 2013 06 08 13 14 5

入力が終わったら、「作成」ボタンをクリックします。

できあがったrobots.txt

このようにして作成したrobots.txtは以下のようになります。
Robottxt 01

  • User-Agent → 検索エンジン（bot）の指定（すべての場合は図のような表記）
  • Disallow → クロールを拒否したいディレクトリ
  • Sitemap → サイトマップのURL

こんな感じで簡単に作れました。

参考にさせていただきました

robots.txtについて調べていたときに下記のサイトも参考にさせていただきました。ありがとうございます！

renaf

renaf

WEB制作・開発、iPhoneアプリ、DTMなどのTipsやメモを書いています。

関連記事