Циферки с инференса 70B на 2xA100 с самым последним vllm:
Processed prompts: 60%|██████████▏ | 250/415 [02:39<02:16, 1.21it/s, est. speed input: 102.60 toks/s, output: 442.93 toks/s]
440 токенов в секунду😎
P.S. Это оценка пропускной способности: это не означает, что 1 токен генерируется за 1/440 секунды.
Processed prompts: 60%|██████████▏ | 250/415 [02:39<02:16, 1.21it/s, est. speed input: 102.60 toks/s, output: 442.93 toks/s]
440 токенов в секунду
P.S. Это оценка пропускной способности: это не означает, что 1 токен генерируется за 1/440 секунды.