🔥Embedding Diffusion for Text Generation (by DeepMind)
Наконец у кого-то получилось применить диффузию для генерации текста.
В качестве базовой модели используется оригинальный трансформер, который учится денойзить эмбеддинги токенов (которые взяли из BERT). Дальше эти эмбеддинги отображаются в логиты и таким образом генерируется текст — сразу весь, целиком.
А ещё тут смогли адаптировать метод classifier-free guidance для заполнения больших пропусков внутри текста.
P.S. на картинке процесс текстовой диффузии.
Статья
Наконец у кого-то получилось применить диффузию для генерации текста.
В качестве базовой модели используется оригинальный трансформер, который учится денойзить эмбеддинги токенов (которые взяли из BERT). Дальше эти эмбеддинги отображаются в логиты и таким образом генерируется текст — сразу весь, целиком.
А ещё тут смогли адаптировать метод classifier-free guidance для заполнения больших пропусков внутри текста.
P.S. на картинке процесс текстовой диффузии.
Статья