gonzo-обзоры ML статей

Результаты на задаче определения чётности вектора

RNN vs. RNN with ACT

ACT: Adaptive Computation TimeЕсть такая хорошая и малоизвестная тема под названием Adaptive Computa...

Conditional BERT Contextual AugmentationXing Wu, Shangwen Lv, Liangjun Zang, Jizhong Han, Songlin Hu...

Небольшой follow-up со ссылками и замечаниями от читателей + то, что я сам ещё нашёл по теме.1. Идею...

3.3. Sparse Transformer, 2019 april, OpenAIБлогопост: https://openai.com/blog/sparse-transformer/Ста...

факторизация внимания в Sparced Transformer

схема нарезки входа Transformer-XL

3. Сложные модификации Трансформера -- борьба с ограничениями.Базовых ограничений у Трансформера нес...

2. Простые модификации Трансформера -- в основном, полученные усечением функциональности.Из относите...