Сайга на llama-3-70b обучается. Я пока протестировал abliteration на оригинальной 70B, на машине с 2xA100 работает, занимает меньше получаса 👍
Так что будут sft, sft-abliterated, sft-abliterated-kto версии. А также awq/gptq, надо же мне как-то в vllm контейнере модель запускать с 1 видюхой.
Так что будут sft, sft-abliterated, sft-abliterated-kto версии. А также awq/gptq, надо же мне как-то в vllm контейнере модель запускать с 1 видюхой.