Если вы хоть раз пытались делать запросы к языковым моделям через API, то знаете, что в теле запроса можно указать много параметров. Сегодня рассмотрим основные из тех, что используются в API OpenAI, Anthropic Claude и Google Gemini.
Позволяет указать, какую модель использовать для генерации текста. Например, у OpenAI последняя сейчас это gpt-4o, у Anthropic — claude-3-opus-20240229, а у Google — gemini-1.0-pro-002.
Контролирует степень случайности в генерации текста. Высокие значения (например, 0.8) делают тексты более разнообразными, а низкие (например, 0.2) делают их более предсказуемыми.
Определяет максимальное количество токенов, которые могут быть сгенерированы, то есть, по сути, контролирует длину ответа.
Определяет последовательности, при появлении которых модель должна прекратить генерацию текста.
Альтернатива temperature. Управляет тем, какие токены будут рассмотрены моделью при генерации следующего слова в тексте. Модель будет выбирать токены, начиная с наиболее вероятных. Чем ниже значение top-p, тем более определёнными и предсказуемыми будут ответы.
#инструкции_proglib