# Сайт открывается агенту: без капчи, без JavaScript, с честным 404

> Почему ИИ-агент не может прочитать сайт: бот-стена, капча, контент только через JavaScript, мягкий 404. Как проверить свой сайт одной командой curl и что исправить.

Источник: https://pachca.com/agent-ready/guide/site-access

Агент — это HTTP-клиент без браузера. Если сайт отвечает ему капчей, пустой страницей до выполнения JavaScript или главной вместо 404, агент ничего не узнает о продукте и выберет того, кого прочитать смог.

## Зачем

- ChatGPT, Claude, Perplexity и агенты для разработки читают HTML, который отдаёт сервер. JavaScript большинство из них не выполняет.
- Защита от DDoS (Qrator, DDoS-Guard, Cloudflare) часто показывает агенту страницу проверки браузера. Для агента это провал, хотя человек её не замечает.
- Мягкий 404 — главная или 200 на несуществующий адрес — путает агента: он считает, что страница есть, и цитирует не то.

## Что сделать

1.  1

    ### Проверьте, что видит агент

    Запросите главную без браузера. Код должен быть 200, а в теле — текст о продукте, а не «включите JavaScript» или «проверка браузера».

    ```
    curl -sL -A "agent-readiness-index/0.1" https://example.ru/ | sed -e 's/<[^>]*>//g' | wc -w
    ```

2.  2

    ### Отдавайте текст с сервера

    Главная, тарифы и описание продукта должны рендериться на сервере (SSR или статическая сборка). Цены — в HTML, а не в скрипте, который подставляет их после загрузки.

3.  3

    ### Пропустите агентов через защиту от ботов

    В настройках Qrator, DDoS-Guard или Cloudflare разрешите известных агентов и поисковых роботов ИИ. Капча для них равна закрытому сайту.

4.  4

    ### Честный 404

    Несуществующий адрес должен отвечать кодом 404, а не 200 и не редиректом на главную.

    ```
    curl -s -o /dev/null -w "%{http_code}\n" https://example.ru/net-takoy-stranicy
    ```

## Что проверяет сканер

- Главная открывается без капчи

    Агент — программа без браузера. Если сайт показывает ему капчу или «проверку браузера», он ничего не прочитает.

- Текст виден без JavaScript

    Большинство агентов не выполняют JavaScript. Текст о продукте должен быть в самой странице, а не подгружаться скриптом.

- Цены видны без JavaScript

    Агента часто просят сравнить тарифы. Если цены подставляет скрипт, агент их не увидит.

- Несуществующая страница отвечает 404

    Если на любой адрес сайт отвечает «всё в порядке», агент принимает пустую страницу за настоящую.

- Короткий путь с http на https

    Длинная цепочка редиректов — лишние запросы и риск, что агент бросит попытку.

- Главная лёгкая и быстрая

    Страница больше мегабайта или дольше трёх секунд съедает время и лимит текста, который агент может прочитать.

- Понятная структура заголовков

    Один главный заголовок, подзаголовки по порядку и размеченная основная часть. Агент по ним делит страницу на смысловые куски.

- Главная не закрыта от поиска

    Агенты часто находят сайт через поиск. Метка noindex убирает страницу из выдачи, и агент до неё не доходит.

- Текст главной помещается в память агента

    У агента ограничен объём текста, который он читает за раз. Слишком длинную страницу он обрежет и потеряет конец.

- Содержание начинается близко к началу страницы

    Если перед основным текстом идёт длинное меню, агент тратит на него лимит и может не дойти до сути.

- ChatGPT и Claude получают ту же страницу, что и люди

    Мы открываем главную так, как это делают агенты ChatGPT и Claude. Если защита сайта отвечает им отказом или капчей, человек об этом не узнает, а агент уйдёт ни с чем.

- ИИ-поиск получает ту же страницу, что и люди

    Мы открываем главную так, как это делают поисковые роботы ChatGPT и Perplexity. Если защита сайта их не пускает, сайта не будет в поиске, через который агент вас находит.

- У картинок есть подписи

    Агент не видит изображений. О том, что на картинке, он узнаёт только из текстовой подписи к ней.

Проверьте свой сайт

Вставьте адрес и получите такой же разбор за полминуты.

[Проверить сайт →](https://pachca.com/agent-ready)

## Источники

- [Evil Martians: Making your site visible to LLMs and AI agents](https://evilmartians.com/chronicles/how-to-make-your-website-visible-to-llms)
- [Ora: методика (Content without JavaScript, bot detection)](https://ora.ai/methodology)

## Другие гайды

- [robots.txt для нейросетей: YandexAdditional, GPTBot, ClaudeBot и Content-Signal](https://pachca.com/agent-ready/guide/robots-txt)
- [llms.txt и llms-full.txt: что это и нужно ли вашему сайту](https://pachca.com/agent-ready/guide/llms-txt)
- [Markdown для ИИ-агентов: .md-версии страниц и Accept: text/markdown](https://pachca.com/agent-ready/guide/markdown)
- [sitemap, метаданные и JSON-LD: как агент понимает, кто вы](https://pachca.com/agent-ready/guide/structured-data)
- [API и MCP для агентов: OpenAPI, MCP Server Card, OAuth discovery](https://pachca.com/agent-ready/guide/api-mcp)