Недавно ещё заметил, что дело kalomaze живёт. Два новых популярных (в узких кругах) метода сэмплирования:
- DRY. Идейно аналогичен древнему no_repeat_ngram_size, основная их цель — побороть повторы, но штраф динамический в зависимоcти от длины повторяющейся N-граммы. Кроме того, есть поправка на шаблоны промпта, они при подсчёте пропускаются. Можно добавлять свои токены, для которых штраф тоже будет игнорироваться.
В нём 3 основных параметра, которые определяют функцию штрафа: multiplier * base ^ (x - allowed_length), где x — длина повторяющейся N-граммы.
- XTC. Вместо токенов в низкой вероятностью режем токены с высокой вероятностью. Для большей креативности, да💀
Два параметра: probability определяет, насколько часто этот сэмплер вообще срабатывает, а threshold — выше какой границы убиваем токены. Если выше границы только один токен, то его не трогаем, и в целом всегда оставляем наименее вероятный токен с вероятностью выше threshold. См. картинку в комментариях.
- DRY. Идейно аналогичен древнему no_repeat_ngram_size, основная их цель — побороть повторы, но штраф динамический в зависимоcти от длины повторяющейся N-граммы. Кроме того, есть поправка на шаблоны промпта, они при подсчёте пропускаются. Можно добавлять свои токены, для которых штраф тоже будет игнорироваться.
В нём 3 основных параметра, которые определяют функцию штрафа: multiplier * base ^ (x - allowed_length), где x — длина повторяющейся N-граммы.
- XTC. Вместо токенов в низкой вероятностью режем токены с высокой вероятностью. Для большей креативности, да
Два параметра: probability определяет, насколько часто этот сэмплер вообще срабатывает, а threshold — выше какой границы убиваем токены. Если выше границы только один токен, то его не трогаем, и в целом всегда оставляем наименее вероятный токен с вероятностью выше threshold. См. картинку в комментариях.