Захожу сегодня на сервак, который метрики собирает, настроил хранилище Victoria Metrics и интегрировал его соответственно с прометеусом. Осталось дернуть пару контейнеров через docker-compose, чтобы вся эта херабора конфиги новые перечитала.
Знаешь же, что в баше стрелкой вверх листаешь и предыдущие команды появляются? Ну дак вот, я знаю, что мне надо нажать три раза стрелку вверх и потом Enter. Три раза, потому что появится команда docker-compose stop && docker-compose up -d. Всегда так делаю.
Короче, проигрываю заученную гамму и меня выкидывает из консольки, ну и собственно с самого сервера. Эмммм, бля, чо за хуйня. Поднимаю глаза и вижу команду reboot. То есть я нажал три раза вверх и Enter, а вместо ожидаемой команды, я получил сука ребут. Заебись хоть не базу продакшена перезагрузил.
Ну хуйня, жду пока загрузится. Хуй мне на воротник, сервер не отвечает. Иду в KVM а там орет, что в fstab диск примаунтить не может и просит от меня интерактивности. Ебушки воробушки. Чо вообще за хуйня, чо за ребут, откуда все это тут?
В общем въебал я пару часов. Сервак поднял, все поднялось и продолжило работу. Метрики за 2 часа естественно не собирались.
Начал выяснять чо за гавно вообще случилось. Оказалось, что коллега в месяц назад на горячую смотрировал новый диск под данные и прописал автомаунт диска в fstab. Но тут есть ньюанс, когда на горячую монтируешь облачный диск, то при перезагрузке буква диска поменяется. Соответственно в fstab был прописана некорректная буква устройства. Было sdb стало sdc. Эта особенно именно когда сервер работает, ты покупаешь новый диск и тут же его маунтишь. Но если выключить сервер, купить диск, включить сервер, то буква не сменится. Короче нюансы.
Потом посмотрел историю команд в баше и да, там реально работал коллега и мои команды с перезапуском контейнеров оказались далеко не на третьей строчке.
Вот такая вот история. Но опять же опыт, если бы посмотрел что запускаю, то такого бы гавна не произошло. Произошло бы конечно с fstab, но после перезагрузки сервера. А сервера у нас перезагружаются раз в год под расход. Ну чо, лучше раньше выявить по горячим следам, чем потом ебстись.
Мораль: Не доверяй своим привычкам. В какой-то момент правила игры могут незаметно от тебя изменится и ты въебешься в стройку.
Знаешь же, что в баше стрелкой вверх листаешь и предыдущие команды появляются? Ну дак вот, я знаю, что мне надо нажать три раза стрелку вверх и потом Enter. Три раза, потому что появится команда docker-compose stop && docker-compose up -d. Всегда так делаю.
Короче, проигрываю заученную гамму и меня выкидывает из консольки, ну и собственно с самого сервера. Эмммм, бля, чо за хуйня. Поднимаю глаза и вижу команду reboot. То есть я нажал три раза вверх и Enter, а вместо ожидаемой команды, я получил сука ребут. Заебись хоть не базу продакшена перезагрузил.
Ну хуйня, жду пока загрузится. Хуй мне на воротник, сервер не отвечает. Иду в KVM а там орет, что в fstab диск примаунтить не может и просит от меня интерактивности. Ебушки воробушки. Чо вообще за хуйня, чо за ребут, откуда все это тут?
В общем въебал я пару часов. Сервак поднял, все поднялось и продолжило работу. Метрики за 2 часа естественно не собирались.
Начал выяснять чо за гавно вообще случилось. Оказалось, что коллега в месяц назад на горячую смотрировал новый диск под данные и прописал автомаунт диска в fstab. Но тут есть ньюанс, когда на горячую монтируешь облачный диск, то при перезагрузке буква диска поменяется. Соответственно в fstab был прописана некорректная буква устройства. Было sdb стало sdc. Эта особенно именно когда сервер работает, ты покупаешь новый диск и тут же его маунтишь. Но если выключить сервер, купить диск, включить сервер, то буква не сменится. Короче нюансы.
Потом посмотрел историю команд в баше и да, там реально работал коллега и мои команды с перезапуском контейнеров оказались далеко не на третьей строчке.
Вот такая вот история. Но опять же опыт, если бы посмотрел что запускаю, то такого бы гавна не произошло. Произошло бы конечно с fstab, но после перезагрузки сервера. А сервера у нас перезагружаются раз в год под расход. Ну чо, лучше раньше выявить по горячим следам, чем потом ебстись.
Мораль: Не доверяй своим привычкам. В какой-то момент правила игры могут незаметно от тебя изменится и ты въебешься в стройку.