
Немного предыстории
Кошелек работает на микросервисной архитектуре — она нужна прежде всего для того, чтобы избежать полного отказа системы. Кстати, благодаря ей пользователи всё же смогли совершить свои платежи. Но, к сожалению, случился парадокс — киви «укусил самого себя за хвост». Мы ошиблись, и микросервисы начали «разгонять» друг друга.
Что было дальше
Мы попали в мертвую петлю — чем больше пользователей выкидывало из приложения, тем чаще они пытались войти. Тем самым нагрузка на систему увеличивалась, и у нас было всё меньше шансов её восстановить.
Мы даже были готовы полностью отключить процессинг и потом аккуратно запускать его заново. Но благодаря доблестным разработчикам и админам, мы смогли выйти из ситуации без остановки и вернуть пользователям кошелек.