Инцидент с доступностью сервиса 17 ноября 2026
Хронология инцидента с доступностью сервиса 17 ноября 2026 года. В 14:43 проблема устранена, штатная скорость работы сервиса восстановлена.
Резюме инцидента
Что произошло
17 ноября 2026 в работе Пачки наблюдались перебои: сервис был недоступен в течение 16 минут. Ещё в течение 65 минут суммарно сервис работал с замедлением: загрузка и выполнение действий занимали больше времени, часть операций завершалась ошибками, в том числе при сохранении черновиков.
Нарушения работы были связаны с хранилищем Redis, размещённым у облачного провайдера. Повторные отказы сервера не приводили к автоматическому переключению на резервный узел: между отказами сервер успевал возобновлять сигналы о доступности. Дополнительно память Redis была заполнена, а действовавшая настройка запрещала автоматически освобождать место за счёт удаления существующих данных, что приводило к ошибкам записи.
Штатная работа сервиса восстановлена. Приносим извинения за этот инцидент. Ниже приведены хронология, анализ причин и меры по предотвращению повторения подобных сбоев.
Хронология
Часовой пояс событий: (UTC+03:00) Москва, Санкт-Петербург.
- 12:39 — Мониторинг зафиксировал резкое увеличение времени ответа сервиса. Поступили первые обращения в поддержку. Начаты расследование и работы по восстановлению. Информация об инциденте опубликована в клиентских чатах, из которых поступили обращения.
- 12:55 — Проблема локализована. Доступность и штатная скорость работы сервиса восстановлены.
- 13:01 — Зафиксировано повторное замедление загрузки и выполнения действий в сервисе.
- 13:13 — Штатная скорость загрузки и выполнения действий восстановлена.
- 13:50 — Повторно зафиксированы нарушения доступности Redis, замедление загрузки и выполнения действий в сервисе.
- 14:43 — Проблема устранена. Штатная скорость работы сервиса восстановлена.
Цепочка причин
- Почему нарушилась работа сервиса? — Наблюдались нарушения доступности Redis. Облачный провайдер сообщил о повторных отказах сервера; также выявлено заполнение памяти хранилища.
- Почему возникали ошибки сохранения черновиков и сообщения о недоступности, хотя сервис частично работал? — По предварительной оценке, Redis периодически отвечал на запросы, но при заполненной памяти не мог записывать новые данные: настройка
noevictionзапрещала удалять существующие данные для освобождения места. Поэтому частичная доступность сервиса не означала, что все операции, в том числе сохранение черновиков, выполнялись успешно. - Почему не произошло автоматическое переключение на резервный узел Redis? — По данным команды облачного провайдера, после каждого отказа сервер восстанавливался и снова отправлял сигналы о своей доступности. Он успевал возобновить их отправку раньше, чем система признавала его недоступным и запускала переключение. В результате повторные отказы не приводили к переходу на резервный узел.
Что мы делаем, чтобы это не повторилось
Внесены изменения для сохранения работоспособности основного сервиса при повторении подобного сбоя. Дополнительно прорабатываем сокращение времени восстановления Redis.
-
Снижение влияния
Обеспечена устойчивость основного сервиса к сбоям этого Redis. Его повторный отказ не приведёт к замедлению API.
Улучшена обработка накопленных очередей задач. Накопление задач в очередях больше не влияет на работу основного сервиса.
-
Ускорение восстановления
Проработка переключения на резервный узел при повторных кратковременных отказах. Команда Пачки рассмотрит сценарий, при котором сервер подаёт сигналы о доступности между отказами, но работает нестабильно и автоматическое переключение не запускается. Решение пока не определено.