Word2Vec: покажи мне свой контекст, и я скажу, кто ты
Технология Word2Vec работает с большим текстовым корпусом и присваивает каждому слову уникальный набор чисел — семантический вектор. Вся идея векторов основана на дистрибутивной гипотезе, по которой смысл слова заключается не в наборе его собственных звуков и букв, а в том, среди каких слов оно чаще всего встречается. То есть между элементами его возможных контекстов, отсюда и название — дистрибутивная гипотеза.
Но в любом большом корпусе количество уникальных слов часто переваливает за сотни тысяч, и рассчитывать семантические вектора для каждого из них совсем не просто. Решение для этой проблемы предложил ученый из Чехии Томаш Миколов. Он придумал две нейросетевые архитектуры: CBOW и Skip-Gram.
Skip-Gram тренирует и обучает нейросеть чтобы запомнить веса нейронов (которые в нашем случае как раз и станут семантическими векторами). Skip-Gram много раз заставляет нейросеть предсказать, какие слова вероятнее всего встретить рядом с «абажуром». Она много раз ошибется и смотрит на то, какие вектора должны были получиться. В конце концов методом проб и ошибок алгоритм понемногу корректирует изначальные случайные значения и подбирает те самые веса, на которые нужно умножать вектор абажура, чтобы получить вектора правильных слов. А потом приходит человек, забирает веса и говорит, что это — семантический вектор абажура.
https://sysblok.ru/knowhow/word2vec-pokazhi-mne-svoj-kontekst-i-ja-skazhu-kto-ty/
Технология Word2Vec работает с большим текстовым корпусом и присваивает каждому слову уникальный набор чисел — семантический вектор. Вся идея векторов основана на дистрибутивной гипотезе, по которой смысл слова заключается не в наборе его собственных звуков и букв, а в том, среди каких слов оно чаще всего встречается. То есть между элементами его возможных контекстов, отсюда и название — дистрибутивная гипотеза.
Но в любом большом корпусе количество уникальных слов часто переваливает за сотни тысяч, и рассчитывать семантические вектора для каждого из них совсем не просто. Решение для этой проблемы предложил ученый из Чехии Томаш Миколов. Он придумал две нейросетевые архитектуры: CBOW и Skip-Gram.
Skip-Gram тренирует и обучает нейросеть чтобы запомнить веса нейронов (которые в нашем случае как раз и станут семантическими векторами). Skip-Gram много раз заставляет нейросеть предсказать, какие слова вероятнее всего встретить рядом с «абажуром». Она много раз ошибется и смотрит на то, какие вектора должны были получиться. В конце концов методом проб и ошибок алгоритм понемногу корректирует изначальные случайные значения и подбирает те самые веса, на которые нужно умножать вектор абажура, чтобы получить вектора правильных слов. А потом приходит человек, забирает веса и говорит, что это — семантический вектор абажура.
https://sysblok.ru/knowhow/word2vec-pokazhi-mne-svoj-kontekst-i-ja-skazhu-kto-ty/