Name: Пачка
Rating: 4.8 (500 reviews)
Author: Пачка

Резюме инцидента

Дата и время27.08.2025 в 11:00 (UTC+3)

ПричинаНеконтролируемый рост нагрузки на один из серверов Redis привел его к падению и деградации производительности сервиса

Уровень серьёзностиВысокий

Продолжительность31 минута суммарно (два эпизода)

Пострадавшие системыapp.pachca.com — веб, мобильные и компьютерные версии

Пострадавшие пользователиВсе пользователи

Что произошло

27 августа 2025 сервис Пачка дважды испытал деградацию производительности из-за падения одного из серверов Redis. Первый эпизод длился около 10 минут, второй — около 21 минуты. Потери данных не произошло.

Мы приносим извинения за этот инцидент. Ниже — хронология, анализ причин и меры, которые мы принимаем.

Хронология

Все отметки времени — UTC+3.

11:00 – Получены первые массовые обращения по снижению скорости работы сервиса.
11:01 – Команда начала расследование и сужение проблемы.
11:10 – Полный доступ к сервису восстановлен.
11:53 – Получены первые массовые обращения по проблемам с отправкой сообщений, кодов авторизации и созданием чатов.
11:54 – Команда начала расследование и сужение проблемы.
12:14 – Полный доступ к сервису восстановлен.

Цепочка причин

Почему сервис деградировал? — Один из серверов Redis упал под нагрузкой, что привело к замедлению обработки запросов.
Почему Redis упал? — Неконтролируемый рост нагрузки на сервер превысил его возможности.
Почему было два эпизода? — После первого восстановления корневая причина не была полностью устранена, что привело к повторной деградации.

Что мы делаем, чтобы это не повторилось

Немедленные меры

Восстановление Redis. Внесены правки в состояние Redis для стабилизации работы.
Изменение политики RateLimiter. Обновлены лимиты для предотвращения неконтролируемого роста нагрузки.

Долгосрочные меры

Фокус на стабильности. Принято решение сфокусироваться осенью 2025 на повышении стабильности работы сервиса.
Оптимизация производительности. Продолжение работ по оптимизации производительности инфраструктуры.