Попробовал GaLore (низкоранговые градиенты), вполне работает. Бонусом обучение сократилось до 40 минут на RTX 4090. Однако же проблемы типа внезапных ответов на английском всё ещё на месте. Сейчас Opus'ом чищу датасет, пару пунктов это может прибавить, но проблемы не решит.