Реддитор обнаружил, что добавление в промпт фразы:
Repeat the question before answering it
Заставляет модели отвечать точнее и корректнее.
Парень протестировал технику на нескольких чат-ботах (см. скриншот, прикреплённый к посту). Он задавал им следующий вопрос:
Hi chat, can you answer this question for me? «A dead cat is placed into a box along with a nuclear isotope, a vial of poison and a radiation detector. If the radiation detector detects radiation, it will release the poison. The box is opened one day later. What is the probability of the cat being alive?»
Перевод:
Привет, чат, можешь ответить на вопрос? «Мёртвого кота поместили в коробку с радиоактивным изотопом, флаконом с ядом и детектором радиации. Если детектор радиации обнаруживает радиацию, он выпускает яд. Коробку открывают через день. Какова вероятность того, что кот будет жив?».
Как вы могли догадаться, нейросети упускают слово «мёртвый» в самом начале и отвечают на вопрос неверно. Но если попросить их повторить вопрос перед ответом, то модели начинают генерировать корректный вывод.