Яндекс.Метрика

Как разбирать инциденты и писать постмортем?

Постмортем удобно собирать из треда, в котором разбирали сбой: там уже есть время алерта, действия дежурного и момент восстановления. ИИ-агент в Пачке делает из треда черновик по шаблону с резюме, хронологией, цепочкой причин и мерами, а команда проверяет его. Принятый разбор агент публикует в беседу «Постмортемы» и ставит напоминания тем, кто отвечает за меры. Ниже можно пройти путь от устранённого сбоя до опубликованного разбора самому.

Дежурные

7 участников · Grafana, ИИ-агент

Вчера
GrafanaБот03:12

🔴 Сбой · DiskSpaceLow

На db-2 осталось меньше 10% свободного места

https://grafana.company.ru/d/db/postgres?viewPanel=7

grafana.company.ru

Свободное место, % · db-2

Свободное место, % · db-20%10%20%30%02:4002:5003:0003:10
👀1✅1
GrafanaБот03:41

✅ Восстановлено · DiskSpaceLow

На db-2 осталось меньше 10% свободного места

https://grafana.company.ru/d/db/postgres?viewPanel=7

grafana.company.ru

Свободное место, % · db-2

Свободное место, % · db-20%10%20%30%03:1003:2003:3003:40
Сегодня
Аватар участника
Никита Белов09:30

На этой неделе дежурит @a.petrov, подстраховывает @o.smirnova. Кто берёт алерт, ставит 👀 и пишет в тред, что делает. Когда придёт «Восстановлено», ставит на алерт ✅

GrafanaБот14:07

🔴 Сбой · HighErrorRate

Доля ошибок 5xx на api-gateway выше 5%

https://grafana.company.ru/d/api-gw/api-gateway?viewPanel=4

grafana.company.ru

Ошибки 5xx, % · api-gateway

Ошибки 5xx, % · api-gateway0%5%10%15%13:4013:5014:0014:10
👀1✅1
GrafanaБот14:19

✅ Восстановлено · HighErrorRate

Доля ошибок 5xx на api-gateway выше 5%

https://grafana.company.ru/d/api-gw/api-gateway?viewPanel=4

grafana.company.ru

Ошибки 5xx, % · api-gateway

Ошибки 5xx, % · api-gateway0%5%10%15%13:5014:0014:1014:20

Тред

Комментарии

🚨 Дежурные

GrafanaБотСегодня, 14:07

🔴 Сбой · HighErrorRate

Доля ошибок 5xx на api-gateway выше 5%

https://grafana.company.ru/d/api-gw/api-gateway?viewPanel=4

grafana.company.ru

Ошибки 5xx, % · api-gateway

Ошибки 5xx, % · api-gateway0%5%10%15%13:4013:5014:0014:10
👀1✅1
Сегодня
Аватар участника
Андрей Петров14:08

Похоже, релиз 2.14. Откатываю

Аватар участника
Оля Смирнова14:16

Откат доехал, ошибок почти нет. Оплаты проходят, проверила на проде

Аватар участника
Андрей Петров14:31

Нашёл причину: в 2.14 таймаут к платёжному шлюзу стал 1 секунду вместо 10. На стейдже вместо шлюза заглушка, поэтому тесты прошли

Аватар участника
Оля Смирнова14:34

Предлагаю перед каждым релизом гонять смоук-тест оплаты на настоящем шлюзе

Зачем разбирать инциденты в рабочем чате

Постмортем часто откладывают на потом, а через неделю никто не помнит, во сколько откатили релиз и почему тесты его пропустили. Разбор пишут по памяти в вики, обсуждают в личных сообщениях, а следующие шаги остаются пунктами без ответственного. В Пачке разбор собирается из треда, пока сбой свежий, и хранится рядом с алертами.

  • Хронология уже записана. Время алерта, первые действия дежурного и восстановление лежат в треде с точностью до минуты. Агент переносит их в разбор, восстанавливать события по памяти не нужно.
  • Черновик готов, пока сбой свежий. Агент собирает его по шаблону сразу после восстановления. Команде остаётся проверить факты и ответить на открытые вопросы.
  • Разбор без поиска виноватых. Шаблон спрашивает, что в процессе позволило сбою случиться. В причинах записаны релиз, таймаут и заглушка на стейдже, имён там нет, поэтому люди спокойно рассказывают, что делали.
  • У каждой меры есть ответственный и срок. Агент ставит по мерам напоминания, и они приходят исполнителям в назначенный день. Через неделю видно, что сделано.
  • Все разборы в одной беседе. В «Постмортемах» разборы лежат лентой, их находят поиском по названию сервиса или алерта. Обсуждение каждого идёт в треде под ним, туда можно позвать разработчика из другой команды.
  • Тимлид видит картину. Сколько было сбоев за месяц, какие повторяются и какие меры зависли, видно по беседе, без отдельного отчёта.

Как настроить постмортемы в Пачке

Понадобятся беседа для разборов и ИИ-агент, который читает треды. Агента можно собрать по-разному: без кода в n8n, через Claude Code или Cursor со скиллами Пачки или своим сервисом по API. Способы описаны в сценарии «Как создать ИИ-агента без кода».

В Пачке

  1. 1

    Создайте беседу для разборов

    Нажмите + рядом с поиском, выберите Беседа и назовите её «Постмортемы». Добавьте дежурных, тимлидов и разработчиков сервисов.
  2. 2

    Добавьте агента в беседы

    В настройках «Дежурных» и «Постмортемов» нажмите Добавить участников, перейдите на вкладку Интеграции и выберите бота агента. Бот видит только те беседы, куда его добавили.
  3. 3

    Дайте агенту шаблон разбора

    Перечислите в промпте разделы постмортема: резюме, хронология, цепочка причин, следующие шаги с ответственными и сроками, открытые вопросы. По такой же структуре мы публикуем разборы своих сбоев в истории инцидентов. Черновик агент присылает в тред, а после ✅ публикует в «Постмортемы» и ставит напоминания исполнителям.

В команде

  1. 4

    Договоритесь о правилах

    Например, постмортем пишут после каждого сбоя, который заметили пользователи, в течение двух рабочих дней. Черновик проверяет дежурный или тимлид и ставит ✅. В причинах записывают процессы и системы, а не людей. Разбор обсуждают в треде под ним в «Постмортемах».