А вообще нужен совет местных знатоков. У нас начались проблемы с алкоголем мл в проде.
Смотрите, у нас есть один инстанс, на котором крутится наш основной бекенд и сервер fastapi с мл. Сами данные у нас передаются через нормальный апи, поэтому fastapi используем только как тригер пайтон скрипта. В самом простом случае у нас по крону вызывается апи, тригерится этот самый пайтон скрипт, который реквестит данные из базы, загружает тензорфлоу модель через tf.hub, обрабатывает данные, записывает результат, и возвращает код 200.
Это наш сетап плюс минус с первого дня, поэтому он не самый продуманный, но раньше его хватало с головой. Первый вопрос: глядя на это, что бы вы изменили в сервинге МЛ, и какая вообще необходимая гигиена запуска таких скриптов? Например, нужно ли чистить память, делать что то с тф?
Спрашиваю не просто так, этот наш мл сервис сейчас начал зависать, причем не просто ломается на средине скрипта, а нормально все дорабатыавает без ошибок, возвращает 200, и просто перестает отвечать на дальнейшие магазины. При чем происходит это через время, как будто какой-то ресурс истощается. При этом по cpu и ram проблем не видим.
Смотрите, у нас есть один инстанс, на котором крутится наш основной бекенд и сервер fastapi с мл. Сами данные у нас передаются через нормальный апи, поэтому fastapi используем только как тригер пайтон скрипта. В самом простом случае у нас по крону вызывается апи, тригерится этот самый пайтон скрипт, который реквестит данные из базы, загружает тензорфлоу модель через tf.hub, обрабатывает данные, записывает результат, и возвращает код 200.
Это наш сетап плюс минус с первого дня, поэтому он не самый продуманный, но раньше его хватало с головой. Первый вопрос: глядя на это, что бы вы изменили в сервинге МЛ, и какая вообще необходимая гигиена запуска таких скриптов? Например, нужно ли чистить память, делать что то с тф?
Спрашиваю не просто так, этот наш мл сервис сейчас начал зависать, причем не просто ломается на средине скрипта, а нормально все дорабатыавает без ошибок, возвращает 200, и просто перестает отвечать на дальнейшие магазины. При чем происходит это через время, как будто какой-то ресурс истощается. При этом по cpu и ram проблем не видим.