Про прогрессбары
Недавно понадобилось отслеживать состояние обучения модельки(переводчика) в реалтайме, но я работаю в save & run all кагла, что довольно неудобно и накладывает ограничения
Соответственно появились мысли о всяких MLOps инструментах типо wandb, neptune, tensorboard и тд
Но они тоже не сказать что супер удобные, ведь что есть удобнее мессенджеров?
Тут я начал гуглить на эту тему что-то для тг. Нашел штуку HF, которая тупо отправляет сообщение в мессенджер. Нормально, но хочется большего, большего реалтайма без флуда
Написал другу об этом всём, а в ответ:
Сделать TQDM вывод красивый, вытащить выходной поток, прогнать через какую-нить либу, которая по любому есть, это-ж питон. И в одно сообщение красиво скидывать с таймаутом в минуту, не шля новые, а изменяя старое
(хотя скорее всего есть более удобные инструменты юпитера)
Как ни странно он был прав, при этом настолько, что изменить в коде нужно было всего две строчки:
Недавно понадобилось отслеживать состояние обучения модельки(переводчика) в реалтайме, но я работаю в save & run all кагла, что довольно неудобно и накладывает ограничения
Соответственно появились мысли о всяких MLOps инструментах типо wandb, neptune, tensorboard и тд
Но они тоже не сказать что супер удобные, ведь что есть удобнее мессенджеров?
Тут я начал гуглить на эту тему что-то для тг. Нашел штуку HF, которая тупо отправляет сообщение в мессенджер. Нормально, но хочется большего, большего реалтайма без флуда
Написал другу об этом всём, а в ответ:
Сделать TQDM вывод красивый, вытащить выходной поток, прогнать через какую-нить либу, которая по любому есть, это-ж питон. И в одно сообщение красиво скидывать с таймаутом в минуту, не шля новые, а изменяя старое
(хотя скорее всего есть более удобные инструменты юпитера)
Как ни странно он был прав, при этом настолько, что изменить в коде нужно было всего две строчки:
from tqdm.contrib.telegram import tqdmВ конечном итоге я остановился на комбинации tqdm telegram + wandb (полный вывод консоли + использование ресурсов) и пока что меня это устраивает
for i in tqdm(iterable, token='{token}', chat_id='{chat_id}'):
...