Яндекс.Метрика
Постмортем

Инцидент с доступностью сервиса 17 ноября 2026

Хронология инцидента с доступностью сервиса 17 ноября 2026 года. В 14:43 проблема устранена, штатная скорость работы сервиса восстановлена.

Резюме инцидента

Дата и время17 ноября 2026 Начало: 12:39 (МСК)
ПричинаСбои сервера Redis на стороне облачного провайдера и заполнение его памяти без автоматического переключения на резервный узел
Уровень серьёзностиКритический
СтатусПроблема устранена. Штатная скорость работы сервиса восстановлена в 14:43
ПродолжительностьПолная недоступность: 16 минут (12:39–12:55). Замедление загрузки и выполнения действий: 65 минут суммарно (13:01–13:13 и 13:50–14:43)
Пострадавшие системыВеб, Android, iOS — все платформы
Пострадавшие пользователиВсе пользователи в период полной недоступности. В периоды замедления степень влияния зависела от выполняемых действий
Последнее обновление17 ноября 2026, 14:43 (UTC+3) — проблема устранена, штатная скорость работы сервиса восстановлена

Что произошло

17 ноября 2026 в работе Пачки наблюдались перебои: сервис был недоступен в течение 16 минут. Ещё в течение 65 минут суммарно сервис работал с замедлением: загрузка и выполнение действий занимали больше времени, часть операций завершалась ошибками, в том числе при сохранении черновиков.

Нарушения работы были связаны с хранилищем Redis, размещённым у облачного провайдера. Повторные отказы сервера не приводили к автоматическому переключению на резервный узел: между отказами сервер успевал возобновлять сигналы о доступности. Дополнительно память Redis была заполнена, а действовавшая настройка запрещала автоматически освобождать место за счёт удаления существующих данных, что приводило к ошибкам записи.

Штатная работа сервиса восстановлена. Приносим извинения за этот инцидент. Ниже приведены хронология, анализ причин и меры по предотвращению повторения подобных сбоев.


Хронология

Часовой пояс событий: (UTC+03:00) Москва, Санкт-Петербург.

  • 12:39 — Мониторинг зафиксировал резкое увеличение времени ответа сервиса. Поступили первые обращения в поддержку. Начаты расследование и работы по восстановлению. Информация об инциденте опубликована в клиентских чатах, из которых поступили обращения.
  • 12:55 — Проблема локализована. Доступность и штатная скорость работы сервиса восстановлены.
  • 13:01 — Зафиксировано повторное замедление загрузки и выполнения действий в сервисе.
  • 13:13 — Штатная скорость загрузки и выполнения действий восстановлена.
  • 13:50 — Повторно зафиксированы нарушения доступности Redis, замедление загрузки и выполнения действий в сервисе.
  • 14:43 — Проблема устранена. Штатная скорость работы сервиса восстановлена.

Цепочка причин

  1. Почему нарушилась работа сервиса? — Наблюдались нарушения доступности Redis. Облачный провайдер сообщил о повторных отказах сервера; также выявлено заполнение памяти хранилища.
  2. Почему возникали ошибки сохранения черновиков и сообщения о недоступности, хотя сервис частично работал? — По предварительной оценке, Redis периодически отвечал на запросы, но при заполненной памяти не мог записывать новые данные: настройка noeviction запрещала удалять существующие данные для освобождения места. Поэтому частичная доступность сервиса не означала, что все операции, в том числе сохранение черновиков, выполнялись успешно.
  3. Почему не произошло автоматическое переключение на резервный узел Redis? — По данным команды облачного провайдера, после каждого отказа сервер восстанавливался и снова отправлял сигналы о своей доступности. Он успевал возобновить их отправку раньше, чем система признавала его недоступным и запускала переключение. В результате повторные отказы не приводили к переходу на резервный узел.

Что мы делаем, чтобы это не повторилось

Внесены изменения для сохранения работоспособности основного сервиса при повторении подобного сбоя. Дополнительно прорабатываем сокращение времени восстановления Redis.

  • Снижение влияния

    Обеспечена устойчивость основного сервиса к сбоям этого Redis. Его повторный отказ не приведёт к замедлению API.

    Улучшена обработка накопленных очередей задач. Накопление задач в очередях больше не влияет на работу основного сервиса.

  • Ускорение восстановления

    Проработка переключения на резервный узел при повторных кратковременных отказах. Команда Пачки рассмотрит сценарий, при котором сервер подаёт сигналы о доступности между отказами, но работает нестабильно и автоматическое переключение не запускается. Решение пока не определено.