Яндекс.Метрика

Сайт открывается агенту: без капчи, без JavaScript, с честным 404

Агент — это HTTP-клиент без браузера. Если сайт отвечает ему капчей, пустой страницей до выполнения JavaScript или главной вместо 404, агент ничего не узнает о продукте и выберет того, кого прочитать смог.

Зачем

  • ChatGPT, Claude, Perplexity и агенты для разработки читают HTML, который отдаёт сервер. JavaScript большинство из них не выполняет.
  • Защита от DDoS (Qrator, DDoS-Guard, Cloudflare) часто показывает агенту страницу проверки браузера. Для агента это провал, хотя человек её не замечает.
  • Мягкий 404 — главная или 200 на несуществующий адрес — путает агента: он считает, что страница есть, и цитирует не то.

Что сделать

  1. 1

    Проверьте, что видит агент

    Запросите главную без браузера. Код должен быть 200, а в теле — текст о продукте, а не «включите JavaScript» или «проверка браузера».

    curl -sL -A "agent-readiness-index/0.1" https://example.ru/ | sed -e 's/<[^>]*>//g' | wc -w
  2. 2

    Отдавайте текст с сервера

    Главная, тарифы и описание продукта должны рендериться на сервере (SSR или статическая сборка). Цены — в HTML, а не в скрипте, который подставляет их после загрузки.

  3. 3

    Пропустите агентов через защиту от ботов

    В настройках Qrator, DDoS-Guard или Cloudflare разрешите известных агентов и поисковых роботов ИИ. Капча для них равна закрытому сайту.

  4. 4

    Честный 404

    Несуществующий адрес должен отвечать кодом 404, а не 200 и не редиректом на главную.

    curl -s -o /dev/null -w "%{http_code}\n" https://example.ru/net-takoy-stranicy

Что проверяет сканер

  • Главная открывается без капчи

    Агент — программа без браузера. Если сайт показывает ему капчу или «проверку браузера», он ничего не прочитает.

  • Текст виден без JavaScript

    Большинство агентов не выполняют JavaScript. Текст о продукте должен быть в самой странице, а не подгружаться скриптом.

  • Цены видны без JavaScript

    Агента часто просят сравнить тарифы. Если цены подставляет скрипт, агент их не увидит.

  • Несуществующая страница отвечает 404

    Если на любой адрес сайт отвечает «всё в порядке», агент принимает пустую страницу за настоящую.

  • Короткий путь с http на https

    Длинная цепочка редиректов — лишние запросы и риск, что агент бросит попытку.

  • Главная лёгкая и быстрая

    Страница больше мегабайта или дольше трёх секунд съедает время и лимит текста, который агент может прочитать.

  • Понятная структура заголовков

    Один главный заголовок, подзаголовки по порядку и размеченная основная часть. Агент по ним делит страницу на смысловые куски.

  • Главная не закрыта от поиска

    Агенты часто находят сайт через поиск. Метка noindex убирает страницу из выдачи, и агент до неё не доходит.

  • Текст главной помещается в память агента

    У агента ограничен объём текста, который он читает за раз. Слишком длинную страницу он обрежет и потеряет конец.

  • Содержание начинается близко к началу страницы

    Если перед основным текстом идёт длинное меню, агент тратит на него лимит и может не дойти до сути.

  • ChatGPT и Claude получают ту же страницу, что и люди

    Мы открываем главную так, как это делают агенты ChatGPT и Claude. Если защита сайта отвечает им отказом или капчей, человек об этом не узнает, а агент уйдёт ни с чем.

  • ИИ-поиск получает ту же страницу, что и люди

    Мы открываем главную так, как это делают поисковые роботы ChatGPT и Perplexity. Если защита сайта их не пускает, сайта не будет в поиске, через который агент вас находит.

  • У картинок есть подписи

    Агент не видит изображений. О том, что на картинке, он узнаёт только из текстовой подписи к ней.

Проверьте свой сайт

Вставьте адрес и получите такой же разбор за полминуты.

Проверить сайт →

Источники

Другие гайды