Генератор robots.txt
Составляет robots.txt: что закрыть от поисковиков и ИИ-ботов, где лежит sitemap.
Шаблон
ИИ-боты
Поисковые боты Google и Bing при этом работают как обычно. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, PerplexityBot, Bytespider, meta-externalagent, Amazonbot
robots.txt
Положите файл в корень сайта, чтобы он открывался по адресу /robots.txt. Robots.txt — это просьба, а не защита: страницы с личными данными закрывайте паролем.