Я потерял 7000 активных пользователей за одну ночь 💀



Вы когда-нибудь испытывали выброс дофамина⬆️едва открыв глаза утром и взяв телефон в руки? 🌡



Если нет, то 100% желаю вам всем это испытать хотя бы раз в жизни 💊 Мне поднимали дофамин десятки уведомлений об оплате, которые приходили ночью пока я сплю 💵 каждый день!



В одно утро я проснулся и не обнаружил ни одной оплаты, было только +100500 сообщений в поддержке, что ничего не работает и что нужно срочно починить сервис! 🤬



Мы собираемся на общий звонок с командой и понимаем, что у нас жесткие проблемы 😭 и нам необходимо найти за короткое время человека, который поможет нам починить сервис 🛠



Секунда духоты 🙈

Нам нужен был специалист, который понимает всю серверную архитектуру. Ну и помог бы нам наладить систему масштабирования серверов в зависимости от кол-ва пользователей и их активности.



Я нашел такого человека за 1 день! ⌛️

Хорошие спецы всегда 24/7 заняты, но у меня получилось с ним договориться. Он работает на одну крупную нефтяную компанию в Ираке ☝️, и главная его задача следить за стабильной работой серверов.



СРОЧНО ДЕЛАЕМ ПЛАН
🔠

Параллельно с поиском нового сотрудника, мы поднимали резервные решения для пользователей, у которых перестал работать сервис 😵



Всех пользователей, с неработающим сервисом, мы перенесли на временное решение, которое работало с перебоями 👽



3 недели мы параллельно вели 3 ответвления в ОДНОМ проекте

- Работали над новой версией + притирались с новым сотрудником и изучали новые варианты решения проблемы.

- Мы поддерживали и дорабатывали временную версию, чтобы у людей работал сервис хоть в каком-то виде.

- Активно поддерживали действующих пользователей и отвечали на их вопросы. Сообщений было по 200 шт./час



Почему мы решили делать все с НУЛЯ, а не исправлять действующую версию
🌜

Найти ошибку было нереально, так как у некоторых пользователей все работало и они были счастливы, у других же не работало воообще. Я понимал, что легче будет начать все с нуля, чем искать ошибку 😵



FINAL 🛠

Спустя 3 недели мы пофиксили наш сервис и смогли вернуть 70% активных пользователей 🛡



_______



Какие выводы:

Дофамин - это не уведомления об оплате 💵, дофамин - это внутренняя история, которая зависит только от тебя 🥰

Я тут на днях открыл для себя дыхательные практики, которые помогают мне перезагружаться, либо концентрироваться на одном, но об этом позже 🔓





P.S. ну и нужен хороший сисадмин, который сможет вам восстановить работу серверов))