8 главных прорывов в нейросетевом NLP
Как компьютерная лингвистика подсела на нейронные сети и диплернинг, какие подходы сегодня в тренде и почему они так хороши? 8 важнейших достижений, около 15 лет плодотворной работы ученых:
2001 — Нейронные языковые модели
Тренировочная площадка для применения RNN. Многие недавние достижения в области обработки естественного языка сводятся к одному из видов языкового моделирования.
2008 — Многозадачное обучение
Совместное использование одних и тех же векторных представлений слов позволяет моделям взаимодействовать и обмениваться некоторыми «базовыми» представлениями об элементах текстов.
2013 — Word embeddings (векторное представление слов)
Word2vec модели позволяют провести массовое обучение векторных представлений слов и определить отношения и смыслы, стоящие за этими словами. (и даже за пределами уровня слова)
2013 — Нейронные сети для обработки естественного языка
Рекуррентные, сверточные и рекурсивные нейронные сети как три разных продуктивных способа работы с текстом.
2014 — Модели sequence-to-sequence (seq2seq)
Преобразование одной последовательности в другую с использованием нейронной сети. Благодаря своей гибкости, в настоящее время эта структура является ключевой для решения задач генерации естественного языка.
2015 — Внимание
Внимание позволило моделям нейронного машинного перевода превзойти классические системы перевода, основанные на переводе фраз.
2015 — Нейронные сети с ассоциативной памятью
Модели с ассоциативной памятью применяются в решении задач, для которых полезно хранить информацию в течение длительного времени, например, в языковом моделировании или чтении с пониманием прочитанного.
2018 — Предварительно обученные языковые модели
Предварительно обученные языковые модели доказали возможность обучения на очень ограниченном количестве данных. Они особенно полезны при работе с малоресурсными языками.
https://sysblok.ru/nlp/8-glavnyh-proryvov-v-nejrosetevom-nlp/
Как компьютерная лингвистика подсела на нейронные сети и диплернинг, какие подходы сегодня в тренде и почему они так хороши? 8 важнейших достижений, около 15 лет плодотворной работы ученых:
2001 — Нейронные языковые модели
Тренировочная площадка для применения RNN. Многие недавние достижения в области обработки естественного языка сводятся к одному из видов языкового моделирования.
2008 — Многозадачное обучение
Совместное использование одних и тех же векторных представлений слов позволяет моделям взаимодействовать и обмениваться некоторыми «базовыми» представлениями об элементах текстов.
2013 — Word embeddings (векторное представление слов)
Word2vec модели позволяют провести массовое обучение векторных представлений слов и определить отношения и смыслы, стоящие за этими словами. (и даже за пределами уровня слова)
2013 — Нейронные сети для обработки естественного языка
Рекуррентные, сверточные и рекурсивные нейронные сети как три разных продуктивных способа работы с текстом.
2014 — Модели sequence-to-sequence (seq2seq)
Преобразование одной последовательности в другую с использованием нейронной сети. Благодаря своей гибкости, в настоящее время эта структура является ключевой для решения задач генерации естественного языка.
2015 — Внимание
Внимание позволило моделям нейронного машинного перевода превзойти классические системы перевода, основанные на переводе фраз.
2015 — Нейронные сети с ассоциативной памятью
Модели с ассоциативной памятью применяются в решении задач, для которых полезно хранить информацию в течение длительного времени, например, в языковом моделировании или чтении с пониманием прочитанного.
2018 — Предварительно обученные языковые модели
Предварительно обученные языковые модели доказали возможность обучения на очень ограниченном количестве данных. Они особенно полезны при работе с малоресурсными языками.
https://sysblok.ru/nlp/8-glavnyh-proryvov-v-nejrosetevom-nlp/