Старший Авгур

Если хочешь, чтобы что-то было сделано, сделай это сам.

Образ с vllm для runpod, который поддерживает вторую Гемму: ссылка

Патч: ссылка

Вторая Гемма доступна в боте. Только системные промпты в неё не пихайте, она их не поддерживает.