Примерно один раз в месяц у меня бывают порывы написать какой-нибудь road map для вкатывальщиков в NLP, основанный на том, что помогло когда-то мне. Тем самым, помочь окружающим двигаться к своей цели еще быстрее💨 .
В прошлый раз, n-ое количество ссылок, которое я присылала студентам ВШЭ, у которых менторила проект, разлетелось по студенческим чатам, хочется дополнить информацию в этом посте, и дать понимание ценности, которую получите после прочтения того или иного источника.
Во-первых, самое важное, на что хочется обратить внимание. В основном все студенты думают, что для погружения в DL, надо сначала заботать весь выш мат, статистику, теор вер, прости господи R и sql, потом погружаться только в ML. Так вот, по факту математическая база – это очень хорошо, но ее можно будет успеть нагнать потом. Единственное было бы хорошо, знать основы синтаксиса Python. Тут вам в помощь мини-курс pythontutor
Если вы полный ноль, я бы посоветовала понять, как интуитивно работают нейронные сети с книгой «грокаем глубокое обучение» или зарегаться на курс DLS (там есть всегда 2 потока – полегче и посложнее)
Вы поняли как работает лог рег, это круто, пусть без углубления в математику, но как относится градиентный спуск к обновлению весов модели – уже рассказать сможете. Тогда можно идти дальше. Во-первых есть абсолютно прекрасный курс, автором которого выступает Лена Войта. В нем вам расскажут что такое текстовые эмбединги и доведут за ручку до трансформеров.
Во-вторых стоит отдельно обратить внимания на такие темы, как формирование эмбедингов: word2vec, fasttext, tf-idf. Если усвоили это, переходите к таким темам, как RNN, LSTM, GRU, BRNN (сейчас не используется, но возможно на собеседовании когда-нибудь спросят что это за дичь, и чем отличается GRU от оригинального LSTM)
Затем можно переходить к трансформерам, потому что сейчас обработка текста живет на них.
Вот обзор от Jay Alammar на статью attention is all what you need. Можно забить на ютуб transformers и будет миллион видео от талантливых лекторов на эту тему. Также основой для работы трансформеров является attention механизм, я его в свое время пыталось понять данной статьей и лекцией от Радослава Нейчева
Теперь осталось только практиковаться, в этом поможет прекрасный курс от huggingface, все таки сейчас это самая большая хранилка моделей, и по фитбеку от знакомых nlp-ишников и меня, в наши дни код пишется в основном на комбинации transformers+pytorch (не дискриминирую никакие другие либы, фанаты lightning, tensorflow и др, не пинайте ногами)
Надеюсь было полезно, тут только те ссылки, которыми я сама пользовалась в получении знаний😯 ☺️
В прошлый раз, n-ое количество ссылок, которое я присылала студентам ВШЭ, у которых менторила проект, разлетелось по студенческим чатам, хочется дополнить информацию в этом посте, и дать понимание ценности, которую получите после прочтения того или иного источника.
Во-первых, самое важное, на что хочется обратить внимание. В основном все студенты думают, что для погружения в DL, надо сначала заботать весь выш мат, статистику, теор вер, прости господи R и sql, потом погружаться только в ML. Так вот, по факту математическая база – это очень хорошо, но ее можно будет успеть нагнать потом. Единственное было бы хорошо, знать основы синтаксиса Python. Тут вам в помощь мини-курс pythontutor
Если вы полный ноль, я бы посоветовала понять, как интуитивно работают нейронные сети с книгой «грокаем глубокое обучение» или зарегаться на курс DLS (там есть всегда 2 потока – полегче и посложнее)
Вы поняли как работает лог рег, это круто, пусть без углубления в математику, но как относится градиентный спуск к обновлению весов модели – уже рассказать сможете. Тогда можно идти дальше. Во-первых есть абсолютно прекрасный курс, автором которого выступает Лена Войта. В нем вам расскажут что такое текстовые эмбединги и доведут за ручку до трансформеров.
Во-вторых стоит отдельно обратить внимания на такие темы, как формирование эмбедингов: word2vec, fasttext, tf-idf. Если усвоили это, переходите к таким темам, как RNN, LSTM, GRU, BRNN (сейчас не используется, но возможно на собеседовании когда-нибудь спросят что это за дичь, и чем отличается GRU от оригинального LSTM)
Затем можно переходить к трансформерам, потому что сейчас обработка текста живет на них.
Вот обзор от Jay Alammar на статью attention is all what you need. Можно забить на ютуб transformers и будет миллион видео от талантливых лекторов на эту тему. Также основой для работы трансформеров является attention механизм, я его в свое время пыталось понять данной статьей и лекцией от Радослава Нейчева
Теперь осталось только практиковаться, в этом поможет прекрасный курс от huggingface, все таки сейчас это самая большая хранилка моделей, и по фитбеку от знакомых nlp-ишников и меня, в наши дни код пишется в основном на комбинации transformers+pytorch (не дискриминирую никакие другие либы, фанаты lightning, tensorflow и др, не пинайте ногами)
Надеюсь было полезно, тут только те ссылки, которыми я сама пользовалась в получении знаний