🎆 Небольшая лекция об Alignment и как мы его готовим



Это слайды с текстом, пока устно ее я рассказывал только внутри команды Vikhr.



Внутри вы узнаете:

- Теория Bradley-Terry и откуда берутся Reward модели

- Что нужно для обучения Reward модели и как его делаем мы

- Откуда взялся DPO и каковы его недостатки

- Какова мотивация нас и других авторов улучшать DPO

- Как устроен наш функционал SMPO - Simple Margin Preference Optimization

- Какие есть способы улучшения DPO на уровне данных и как готовим эти данные мы



Задавайте вопросы в комментариях, если что-то непонятно, будем обсуждать.