googlewebmastercentral-ja: Googlebot について、よくある質問

Googlebot について、よくある質問

2009年6月24日水曜日

ウェブマスターヘルプフォーラム2006 年に英語版ウェブマスターセントラルブログに掲載された記事サイトをメンテナンスのために落としています。Googebot に「メンテナンス中」のページをインデックスさせるのではなく、後でクロールに戻って来るよう伝えたいのですが、どうしたらいいですか？HTTP ステータスコードGooglebot がサイトをクロールする負荷が高すぎる場合はどうしたらいいのですか？ウェブマスターツール内 [サイト設定] の [クロール速度] セクションで、希望のオプションを選択していただくことができます。

Robots メタタグと robots.txt ファイルはどちらを使うのが望ましいのですか？Robots.txt に、全ての検索エンジンのボット（クローラ）を対象にした記述と、Googlebot のみを対象にした記述が混在している場合、全ての検索エンジンを対象にした記述を Googlebot はどのように解釈するのですか？User-agent: *
Disallow: /

User-agent: Googlebot
Disallow: /cgi-bin/
User-agent: *
Disallow: /
robots.txt のテスト