Яндекс.Метрика

robots.txt для нейросетей: YandexAdditional, GPTBot, ClaudeBot и Content-Signal

robots.txt есть почти у всех, но пишут его для поисковиков. У ИИ-ботов разные задачи: одни собирают данные для обучения, другие ищут ответ для пользователя прямо сейчас. Их стоит различать и прописывать явно.

Зачем

  • Роботы обучения (GPTBot, ClaudeBot, Google-Extended, CCBot) собирают данные для моделей. Закрыть их — законное решение, наш балл за это не снижается.
  • Роботы ИИ-поиска и агенты пользователей (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User) приходят, когда человек спрашивает о вас. Закрыв их, вы пропадаете из ответов.
  • Яндекс управляет показом сайта в ответах Алисы AI через роботов YandexAdditional и YandexAdditionalBot. Без отдельной группы для них действует общее правило *.
  • Сбер не публикует имя робота, который собирает данные для GigaChat, поэтому адресовать ему правило сейчас нельзя.

Что сделать

  1. 1

    Пропишите ИИ-ботов явно

    Отдельные группы показывают агентам, что политика осознанная. Пример для сайта, который хочет быть в ответах нейросетей:

    User-agent: YandexAdditional
User-agent: YandexAdditionalBot
Allow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# обучение — на ваше усмотрение
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /
  2. 2

    Добавьте Content-Signal

    Строка Content-Signal (contentsignals.org) говорит, для чего можно использовать контент: поиск, ответы ИИ, обучение. Валидаторы robots.txt пометят её как незнакомую — это безвредно.

    User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /
  3. 3

    Проверьте результат

    Откройте robots.txt без браузера и найдите свои группы.

    curl -s https://example.ru/robots.txt | grep -iE "user-agent|content-signal"

Что проверяет сканер

  • Есть robots.txt

    Это первый файл, который читает любой робот: в нём правила, что на сайте можно открывать.

  • В robots.txt есть правила для ИИ-ботов

    Боты нейросетей названы по именам. Разрешаете вы им или запрещаете — видно, что решение принято.

  • Указано, для чего можно использовать контент

    Строка Content-Signal говорит, можно ли брать тексты для поиска, ответов ИИ и обучения моделей.

  • Роботы Алисы AI допущены на сайт

    Через роботов YandexAdditional сайт попадает в ответы Алисы. Лучше всего разрешить их отдельным правилом.

  • Агенты и ИИ-поиск допущены на сайт

    ChatGPT, Claude и Perplexity приходят, когда человек спрашивает о вас. Если их закрыть, вы пропадёте из ответов.

  • Страница не запрещает цитировать свой текст

    Метки nosnippet и noai запрещают показывать текст страницы в ответах. С ними ассистент о вас промолчит или ограничится ссылкой.

  • Сайт не запрещает брать тексты в ответы ИИ

    В строке Content-Signal можно запретить поиск и ответы ИИ. Запретить обучение моделей — ваше право, на оценку оно не влияет.

  • Тарифы и документация не закрыты от агентов

    Главная может быть открыта, а раздел с ценами или документацией — закрыт в robots.txt. Тогда агент не ответит на вопрос о ценах и не настроит интеграцию.

Проверьте свой сайт

Вставьте адрес и получите такой же разбор за полминуты.

Проверить сайт →

Источники

Другие гайды