Вышла тестовая поддержка TensorRT для Automatic1111 в формате расширения, оно позволяет сконвертировать Unet модуль для ускорения генераций.
На данный момент статус такой:
"Лоры запечены в преобразованной модели. Поддержка гиперсети не тестировалась. Контролнет не поддерживается. Текстовая инверсия работает нормально.
NVIDIA также работает над выпуском своей версии TensorRT для webui, которая может быть более производительной, но они пока не могут ее выпустить."
Ссылка на расширение: https://github.com/AUTOMATIC1111/stable-diffusion-webui-tensorrt
На данный момент статус такой:
"Лоры запечены в преобразованной модели. Поддержка гиперсети не тестировалась. Контролнет не поддерживается. Текстовая инверсия работает нормально.
NVIDIA также работает над выпуском своей версии TensorRT для webui, которая может быть более производительной, но они пока не могут ее выпустить."
Ссылка на расширение: https://github.com/AUTOMATIC1111/stable-diffusion-webui-tensorrt