Яндекс.Метрика

Markdown для ИИ-агентов: .md-версии страниц и Accept: text/markdown

HTML страницы на 80% состоит из меню, скриптов и разметки. Markdown-версия той же страницы в несколько раз короче, и агент тратит контекст на смысл, а не на обвязку.

Зачем

  • Claude Code и Cursor сами просят Markdown заголовком Accept: text/markdown. По логам Evil Martians, на Claude Code пришлось 94% Markdown-запросов к их сайту.
  • Markdown-версия по тому же адресу — не клоакинг: содержание то же, формат другой, а заголовок Vary: Accept говорит об этом кешам.
  • В нашем балле Markdown по Accept и .md-версии страниц вместе весят 12 из 100 — больше, чем llms.txt.

Что сделать

  1. 1

    .md-версии страниц

    У каждой страницы — двойник с .md на конце: /prices → /prices.md, главная → /index.md. Генерируйте их из того же источника, что и HTML, иначе тексты разойдутся.

  2. 2

    Ответ по Accept

    На запрос с Accept: text/markdown тот же URL отдаёт Markdown с Content-Type: text/markdown и Vary: Accept. Сравнивайте q-значения, а не ищите подстроку.

    curl -sD - -o /dev/null -H "Accept: text/markdown" https://example.ru/ | grep -iE "content-type|vary"
  3. 3

    Покажите, где Markdown

    Ссылка в <head> для парсеров DOM и заголовок Link для HTTP-клиентов:

    <link rel="alternate" type="text/markdown" href="/prices.md">
Link: </prices.md>; rel="alternate"; type="text/markdown"

Что проверяет сканер

  • Сайт сам подсказывает, где файлы для агентов

    Ссылки в заголовке ответа или в коде страницы ведут на llms.txt, Markdown-версию или описание API.

  • Сайт отдаёт Markdown по запросу агента

    Агент может попросить страницу в Markdown вместо HTML. Так он тратит в разы меньше текста на вёрстку.

  • У страниц есть Markdown-версии

    Та же страница по адресу с .md на конце — чистый текст без меню и скриптов.

  • У Markdown-версии есть шапка с данными о странице

    Название, описание и адрес в начале файла. Агент узнаёт, что это за документ, не разбирая текст.

  • Цены есть в Markdown

    Агенту, который сравнивает продукты, проще всего прочитать тарифы из простого текстового файла.

Проверьте свой сайт

Вставьте адрес и получите такой же разбор за полминуты.

Проверить сайт →

Источники

Другие гайды