📝 BERT не всему голова
💻 Знания большого количества специалистов по NLP, судя по сотням проведенных собеседований, нередко ограничиваются одной фразой - «буду использовать BERT для решения
любой этой задачи». Связываю с тем, что NLP начала активно развиваться после прихода именно этого персонажа из улицы сезам. В результате, в нее пришло много молодых специалистов, которые не очень хотели изучать додедовские методы. Тем не менее,
tf-idf очень часто применяют в проде и нередко побивает знаменитого героя.
😱 Сегодня попытаюсь убедить читателей расширить свой кругозор менее сложными по количеству параметров моделями:
🧠 Вам не требуется большое количество обучаемых параметров, если вы решаете простую задачу. Например, если контекст не сильно влияет на результат или вовсе отсутствует. В исключения запишем случаи, когда у вас небольшое количество размеченных данных.
😮💨 Нагрузка на инфраструктуру тем меньше, чем меньше количество параметров у модели. Коммерческие компания считают ресурсы и вам нужно уметь их экономить. Уметь вычислять число параметров модели также важно дата сайентисту, как плюсовову программисту, оценивать сложность алгоритма. Вас не заботят чужие деньги?) Подумайте о планете)
🤔 С ростом сложности модели повышается сложность ее отладки, а не только сложность ответа на формальные запросы интерпретируемости от непрофильных специалистов.
❓ Замедляете свое развитие, сужаете кругозор и становитесь фитпредиктором несмотря на то, что обучаете нейронные сети на
🔥, а не логрег. Вдохновляетесь только статьями про
🌿? В хороших исследованиях всегда приводятся сравнения с качественными бейзлайнами.
📺 Не знакомы с методами древних и предпочитаете видео-контент? Не смог убедить, в итоге, вас интересуют только лучшие стратегии тюнинга BERTа? Смотрите
Моделирование на практике из трека NLP in Practice.
💬 Что у вас крутится в проде?)
