8 главных прорывов в нейросетевом NLP



Как компьютерная лингвистика подсела на нейронные сети и диплернинг, какие подходы сегодня в тренде и почему они так хороши? 8 важнейших достижений, около 15 лет плодотворной работы ученых:



2001 — Нейронные языковые модели



Тренировочная площадка для применения RNN. Многие недавние достижения в области обработки естественного языка сводятся к одному из видов языкового моделирования.



2008 — Многозадачное обучение



Совместное использование одних и тех же векторных представлений слов позволяет моделям взаимодействовать и обмениваться некоторыми «базовыми» представлениями об элементах текстов.



2013 — Word embeddings (векторное представление слов)



Word2vec модели позволяют провести массовое обучение векторных представлений слов и определить отношения и смыслы, стоящие за этими словами. (и даже за пределами уровня слова)



2013 — Нейронные сети для обработки естественного языка



Рекуррентные, сверточные и рекурсивные нейронные сети как три разных продуктивных способа работы с текстом.



2014 — Модели sequence-to-sequence (seq2seq)



Преобразование одной последовательности в другую с использованием нейронной сети. Благодаря своей гибкости, в настоящее время эта структура является ключевой для решения задач генерации естественного языка.



2015 — Внимание



Внимание позволило моделям нейронного машинного перевода превзойти классические системы перевода, основанные на переводе фраз.



2015 — Нейронные сети с ассоциативной памятью



Модели с ассоциативной памятью применяются в решении задач, для которых полезно хранить информацию в течение длительного времени, например, в языковом моделировании или чтении с пониманием прочитанного.



2018 — Предварительно обученные языковые модели



Предварительно обученные языковые модели доказали возможность обучения на очень ограниченном количестве данных. Они особенно полезны при работе с малоресурсными языками.



https://sysblok.ru/nlp/8-glavnyh-proryvov-v-nejrosetevom-nlp/