Abliterated 70B Сайга в 4 битах (GPTQ) доступна в боте. Она стала чуть более зацензуренной почему-то, видимо квантование что-то поломало в этом отношении.
А ещё она не влезла в 48 Гб, поэтому запущена на A100 80 Гб (хоть и serverless).
А ещё она не влезла в 48 Гб, поэтому запущена на A100 80 Гб (хоть и serverless).