ChatGPTとGemini(旧Bard)にコンテンツを利用されなくするためのrobots.txtの設定
Publish2023/09/30(土)
Update2024/02/21(水)
先日記事でも書きましたが、ChatGPTでコンテンツを利用されなくする方法を紹介しましたが、GoogleのGemini(旧Bard)でも同様にコンテンツを利用されなくする方法が紹介されていたので合わせて改めて紹介します。
ChatGPTで紹介されていたのは専用のユーザーエージェント「GPTBot」の紹介でしたが、Basrdでも同様に専用のユーザーエージェント「Google-Extended」が公開されているので、下記のようにrobots.txtに記載することでChatGPTとGeminiでサイトのコンテンツを利用されることがなくなります。
Use-Agent: Google-Extended
User-agent: GPTBot
Disallow: /
詳しくは下記のドキュメントを見て確認しましょう。
ChatGPTのGPTBot
GPTBot
Gemini(旧Bard)のGoogle-Extended
Overview of Google crawlers and fetchers (user agents)