DINO/DINOv2
Благодаря успеху трансформеров в NLP появляется всё больше foundation models на базе этой архитектуры и в других доменах, например, в CV. Если трансформеры так хорошо предобучаются на неразмеченных корпусах текстов — почему бы не сделать это с картинками?
Об этом и поговорим в нашей статье, а ещё расскажем:
- почему предобучение vision-трансформеров лучше делать без разметки
- чем хороши признаки vision-трансформеров, обученных с помощью DINO
- в каких задачах можно применять предобученные таким способом модели
Читайте новую статью по ссылке: https://deepschool-pro.notion.site/DINO-Self-distilation-with-no-labels-18e894250fae4e5d87e99a3312c1effd?pvs=4
Благодаря успеху трансформеров в NLP появляется всё больше foundation models на базе этой архитектуры и в других доменах, например, в CV. Если трансформеры так хорошо предобучаются на неразмеченных корпусах текстов — почему бы не сделать это с картинками?
Об этом и поговорим в нашей статье, а ещё расскажем:
- почему предобучение vision-трансформеров лучше делать без разметки
- чем хороши признаки vision-трансформеров, обученных с помощью DINO
- в каких задачах можно применять предобученные таким способом модели
Читайте новую статью по ссылке: https://deepschool-pro.notion.site/DINO-Self-distilation-with-no-labels-18e894250fae4e5d87e99a3312c1effd?pvs=4