Короче, прочла я бегло вашу эту статью
Что нового?
- Теперь на вход принимает не только текст, но еще и картинки. На выход дает текст
- Мультиязычный корпус, но существенный прирост скора показал на английском языке
- Они дофайнтюнили ее с RLHF, ChatGPT привет))
А еще они говорят о том, что поделятся техническими подробностями с обладающими экспертнотью третьими лицами, а нам остается довольствоваться лишь системной картой в конце😔
Так вот, краткая выжимка:
Авторы уделили оочень много внимания устранению галлюцинагенности и безопасности модели (дада, именно то самое у ChatGPT: "я всего лишь языковая модель и я не имею права вам советовать"). Короче, выявляли с помощью разметчиков и классификаторов на опасные темки, а дальше пытались бороться с этими опасными темами в процессе обучения. А что касается галлюцинаций, очевидно выявили самой же моделью в zero-shot classification, где врет, а дальше дополнили фактологический сет.
Вобщем вот такая обобщенная статья получилась у OpenAI, радует хоть доступ к GPT-4 владельцам ChatGPT Plus🥰
Что нового?
- Теперь на вход принимает не только текст, но еще и картинки. На выход дает текст
- Мультиязычный корпус, но существенный прирост скора показал на английском языке
- Они дофайнтюнили ее с RLHF, ChatGPT привет))
А еще они говорят о том, что поделятся техническими подробностями с обладающими экспертнотью третьими лицами, а нам остается довольствоваться лишь системной картой в конце
Так вот, краткая выжимка:
Авторы уделили оочень много внимания устранению галлюцинагенности и безопасности модели (дада, именно то самое у ChatGPT: "я всего лишь языковая модель и я не имею права вам советовать"). Короче, выявляли с помощью разметчиков и классификаторов на опасные темки, а дальше пытались бороться с этими опасными темами в процессе обучения. А что касается галлюцинаций, очевидно выявили самой же моделью в zero-shot classification, где врет, а дальше дополнили фактологический сет.
Вобщем вот такая обобщенная статья получилась у OpenAI, радует хоть доступ к GPT-4 владельцам ChatGPT Plus