Как с помощью GPT-2 или GPT-3 генерировать ответы на вопросы юзера?



Допустим, вы хотите сделать нейросетевую болталку, но не хотите глубоко разбираться в новейших архитектурах. Вот там хак:



Берите любой готовый генератор текстов на основе gpt-2 или gpt-3. Например, который недавно выкладывал Сбербанк на Хабре. И оберните текст, на который нужно сгенерировать ответ, в такой шаблон:



<Имя пользователя>: <его сообщение>

<Ваше имя>:



В итоге сетка поймёт, что это диалог, и продолжит его. Все, что останется, - это обрезать его в нужном месте, ведь там может быть несколько реплик.