robots.txt ロボットテキストの作成方法

robots.txtの書き方と作成方法

ロボットテキストは、Windows に付属しているメモ帳で簡単に作成する事ができます。

ファイル(F)→「名前を付けて保存」を行う際に必ず「robots.txt」と言うネーミングにします。

文字コードは、ANSIで普通に作成可能で、特に難しい事は何も有りません。

３大検索エンジンのUser-agentが指定でき、優先的に読ませたいファイルを指定できます。

手打ちで作成すると言っても、余程難しい内容でもない限りどなたにでも簡単に作成可能。


ロボットテキストの記述内容説明

上記サンプル画像は上から順番に、3大検索エンジンを市場占有率が高く良く使われている順に並べて有ります。

Yahoo!検索エンジンCrawler用記述
ロボットテキストの記述内容や意味「User-agent:slurp」は、ヤフー自動巡回型検索エンジンの呼称で、 Yahoo! Crawler を指します。
ロボットテキストの内容や意味「Allow: /y_key_xxxxx.html」Allowは許可する、y_key_xxxxx.htmlは、管理者認証用ファイルを指します。
ロボットテキストの記述内容や意味「Allow: /Sitemaps.xml」は、Yahoo!slurpがXMLファイルのサイトマップ巡回を許可するの意味です。
ロボットテキストの記述内容や意味「Allow: /urllist.txt」は、Yahoo!slurpがテキストファイルのurllist巡回を許可するの意味です。

Google検索エンジンCrawler用記述
ロボットテキストの記述内容や意味「User-agent:googlebot」は、グーグルの自動巡回ロボット crawler を指します。
ロボットテキストの記述内容や意味「Allow: /Sitemaps.xml」は、GooglebotがXMLファイルのサイトマップ巡回を許可するの意味です。
ロボットテキストの記述内容や意味「Allow: /urllist.txt」は、Googlebotがテキストファイルのurllist巡回を許可するの意味です。

マイクロソフトbing検索エンジンCrawler用記述
ロボットテキストの記述内容や意味「User-agent:msnbot」は、MSNの自動巡回ロボット crawler を指します。
ロボットテキストの記述内容や意味「Allow: /LiveSearchSiteAuth.xml」は、MSN bing 検索エンジンの管理者確認用xmlファイルの巡回を許可するの意味。
ロボットテキストの記述内容や意味「Allow: /Sitemaps.xml」は、MSNbotがXMLファイルのサイトマップ巡回を許可するの意味です。
ロボットテキストの記述内容や意味「Allow: /urllist.txt」は、MSNbotがテキストファイルのurllist巡回を許可するの意味です。

その他の検索エンジンの巡回にも備える
ロボットテキストの記述内容や意味「sitemap: http://～～.com/Sitemaps.xml」を記載する事で、他の検索エンジンのクロールを円滑に行わせる。
ロボットテキストの記述内容や意味「sitemap: http://～～.com/urllist.txt」を記載する事で、xmlファイルに対応していない検索エンジンにも対応。

※ロボットテキストを作成したら、FTP-Client を使ってサイト・トップのindex.htmlと同じ階層にupして自動巡回型検索ロボットのCrawlを待ちます。

ロボットテキストにサイトマップを記載するメリット

robots.txtにsitemapを記載するメリット
Navigationサイト全体のurlを早く認識させる
NavigationCrawlerのクロールがスムーズ
Navigation内部リンクに間違いが有ってもサイトマップが間違っていなければページを認識可能
Navigation検索に時間が掛かる深い階層でも認識可能で検索結果に反映される
Navigation早く検索結果に反映できる→上位表示対策の着手が早めに出来る

手書きロボットテキストの検証方法 (robots.txt Validation tool for MSN bing)

ロボットテキストが正しく作成されているか（書かれているか）をチェックできる機能が MSN bing Webmaster Center に有りますので、合わせて紹介しておきます。(画像にmouse-onするとチェックした結果が見れます)

手打ち作成したロボットテキストをコピーペーストして正しく作成できているかを確認できます

Sitemaps.xml説明ガイドTOP -> robots.txt作成方法･書き方 -> Nextnext hrefYahoo!検索エンジンに登録


inserted by FC2 system