Qiwi что это было?

Подробнее о видео

13.02.2018 примерно с пяти часов вечера большинство пользователей не могли войти в кошелек и сделать перевод. Только самым упорным удавалось это сделать после многочисленных попыток. Вы начали активно писать нам в соцсетях, прикладывать подорожники и звонить в колл-центр, а СМИ публиковать статьи.

Немного предыстории

Кошелек работает на микросервисной архитектуре — она нужна прежде всего для того, чтобы избежать полного отказа системы. Кстати, благодаря ей пользователи всё же смогли совершить свои платежи. Но, к сожалению, случился парадокс — киви «укусил самого себя за хвост». Мы ошиблись, и микросервисы начали «разгонять» друг друга.

Что было дальше

Мы попали в мертвую петлю — чем больше пользователей выкидывало из приложения, тем чаще они пытались войти. Тем самым нагрузка на систему увеличивалась, и у нас было всё меньше шансов её восстановить.
Мы даже были готовы полностью отключить процессинг и потом аккуратно запускать его заново. Но благодаря доблестным разработчикам и админам, мы смогли выйти из ситуации без остановки и вернуть пользователям кошелек.