# robots.txt для нейросетей: YandexAdditional, GPTBot, ClaudeBot и Content-Signal

> Как настроить robots.txt для нейросетей: роботы Алисы AI (YandexAdditional), GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot и строка Content-Signal. Примеры правил.

Источник: https://pachca.com/agent-ready/guide/robots-txt

robots.txt есть почти у всех, но пишут его для поисковиков. У ИИ-ботов разные задачи: одни собирают данные для обучения, другие ищут ответ для пользователя прямо сейчас. Их стоит различать и прописывать явно.

## Зачем

- Роботы обучения (GPTBot, ClaudeBot, Google-Extended, CCBot) собирают данные для моделей. Закрыть их — законное решение, наш балл за это не снижается.
- Роботы ИИ-поиска и агенты пользователей (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User) приходят, когда человек спрашивает о вас. Закрыв их, вы пропадаете из ответов.
- Яндекс управляет показом сайта в ответах Алисы AI через роботов YandexAdditional и YandexAdditionalBot. Без отдельной группы для них действует общее правило `*`.
- Сбер не публикует имя робота, который собирает данные для GigaChat, поэтому адресовать ему правило сейчас нельзя.

## Что сделать

1.  1

    ### Пропишите ИИ-ботов явно

    Отдельные группы показывают агентам, что политика осознанная. Пример для сайта, который хочет быть в ответах нейросетей:

    ```
    User-agent: YandexAdditional
    User-agent: YandexAdditionalBot
    Allow: /

    User-agent: OAI-SearchBot
    User-agent: ChatGPT-User
    User-agent: Claude-SearchBot
    User-agent: Claude-User
    User-agent: PerplexityBot
    User-agent: Perplexity-User
    Allow: /

    # обучение — на ваше усмотрение
    User-agent: GPTBot
    User-agent: ClaudeBot
    User-agent: Google-Extended
    Allow: /
    ```

2.  2

    ### Добавьте Content-Signal

    Строка Content-Signal (contentsignals.org) говорит, для чего можно использовать контент: поиск, ответы ИИ, обучение. Валидаторы robots.txt пометят её как незнакомую — это безвредно.

    ```
    User-agent: *
    Content-Signal: search=yes, ai-input=yes, ai-train=yes
    Allow: /
    ```

3.  3

    ### Проверьте результат

    Откройте robots.txt без браузера и найдите свои группы.

    ```
    curl -s https://example.ru/robots.txt | grep -iE "user-agent|content-signal"
    ```

## Что проверяет сканер

- Есть robots.txt

    Это первый файл, который читает любой робот: в нём правила, что на сайте можно открывать.

- В robots.txt есть правила для ИИ-ботов

    Боты нейросетей названы по именам. Разрешаете вы им или запрещаете — видно, что решение принято.

- Указано, для чего можно использовать контент

    Строка Content-Signal говорит, можно ли брать тексты для поиска, ответов ИИ и обучения моделей.

- Роботы Алисы AI допущены на сайт

    Через роботов YandexAdditional сайт попадает в ответы Алисы. Лучше всего разрешить их отдельным правилом.

- Агенты и ИИ-поиск допущены на сайт

    ChatGPT, Claude и Perplexity приходят, когда человек спрашивает о вас. Если их закрыть, вы пропадёте из ответов.

- Страница не запрещает цитировать свой текст

    Метки nosnippet и noai запрещают показывать текст страницы в ответах. С ними ассистент о вас промолчит или ограничится ссылкой.

- Сайт не запрещает брать тексты в ответы ИИ

    В строке Content-Signal можно запретить поиск и ответы ИИ. Запретить обучение моделей — ваше право, на оценку оно не влияет.

- Тарифы и документация не закрыты от агентов

    Главная может быть открыта, а раздел с ценами или документацией — закрыт в robots.txt. Тогда агент не ответит на вопрос о ценах и не настроит интеграцию.

Проверьте свой сайт

Вставьте адрес и получите такой же разбор за полминуты.

[Проверить сайт →](https://pachca.com/agent-ready)

## Источники

- [Яндекс Вебмастер: запрет показов в ответах Алисы AI](https://yandex.ru/support/webmaster/ru/adding-site/indexing-prohibition)
- [OpenAI: роботы и пользовательские агенты](https://platform.openai.com/docs/bots)
- [Content Signals](https://contentsignals.org/)

## Другие гайды

- [Сайт открывается агенту: без капчи, без JavaScript, с честным 404](https://pachca.com/agent-ready/guide/site-access)
- [llms.txt и llms-full.txt: что это и нужно ли вашему сайту](https://pachca.com/agent-ready/guide/llms-txt)
- [Markdown для ИИ-агентов: .md-версии страниц и Accept: text/markdown](https://pachca.com/agent-ready/guide/markdown)
- [sitemap, метаданные и JSON-LD: как агент понимает, кто вы](https://pachca.com/agent-ready/guide/structured-data)
- [API и MCP для агентов: OpenAPI, MCP Server Card, OAuth discovery](https://pachca.com/agent-ready/guide/api-mcp)