А вот это интересно: GPT-4 может предсказывать результаты социальных экспериментов с большой точностью
Исследователи заставили модель просимулировать около 70 социальных исследований, а затем сравнили ее прогнозы с реальными результатами. Результат, как говорится, убил: коэффициент корреляции оказался равен 0.91. Это больше, чем у людей экспертов!
Вы скажете: но ведь эти исследования архивные, а GPT-4 видела так много данных. Откуда нам знать, что модель просто напросто не запомнила эти кейсы? Об этом ресерчеры тоже подумали и специально прогнали GPT отдельно по неизданным экспериментам. Итог: корреляция не только не понизилась, но еще и взлетела до 0.94.
При этом оказалось, что модель с высокой точностью моделирует не только результаты целиком, но и мнения людей относительно пола, расы и возраста.
Означает ли это, что теперь мы можем использовать LLM для симуляций социальных экспериментов? Или это капкан, который заманит нас в пузырь неверной статистики?
Исследователи заставили модель просимулировать около 70 социальных исследований, а затем сравнили ее прогнозы с реальными результатами. Результат, как говорится, убил: коэффициент корреляции оказался равен 0.91. Это больше, чем у людей экспертов!
Вы скажете: но ведь эти исследования архивные, а GPT-4 видела так много данных. Откуда нам знать, что модель просто напросто не запомнила эти кейсы? Об этом ресерчеры тоже подумали и специально прогнали GPT отдельно по неизданным экспериментам. Итог: корреляция не только не понизилась, но еще и взлетела до 0.94.
При этом оказалось, что модель с высокой точностью моделирует не только результаты целиком, но и мнения людей относительно пола, расы и возраста.
Означает ли это, что теперь мы можем использовать LLM для симуляций социальных экспериментов? Или это капкан, который заманит нас в пузырь неверной статистики?