Как преодолеть последнюю милю в NLP?
🤔 Комплекс моделей для платформы ботов Альфы уже сейчас работает с высокой точностью порядка девяносто процентов. Тем не менее, до ста процентов еще остается значительный гэп, о чем вам скажут даже диванные аналитики, освоившие курс арифметики. Как гэп обычно преодолевают в Data Science?
🏆 В соревнованиях по анализу данных мы регулярно проходим последнюю милю, борясь за десятысячные целевой метрики. На вооружение берутся ансамбли из разных классов моделей, стакаются сотни вариантов, отыскиваются лики в данных для оптимизации своей позиции на лидерборде. Однако не помню, чтобы в соревнованиях выбивали максимальное значение метрики при условии, что разметка тестового датасета не лежала на просторах интернета.
😩 На практике все гораздо сложнее. Во-первых, мы оптимизируем продуктовые метрики, а модельные лишь выполняют роль прокси. Во-вторых, мы можем и должны исправлять качество размеченных данных, а не переобучаться под смещенное распределение. Хакнуть продовые метрики, увы, не получится, ведь машину времени еще не изобрели, что значительно мешает в получении данных из будущего аб-теста на этапе разработки модели.
🏃 Пройти последнюю милю можно через оптимизацию компонент непрерывного цикла улучшения моделей: аналитика качества моделей, разметка данных, моделирование и аб-тестирование.
Подключайтесь завтра к секции "Современные тренды в NLP", расскажу подробнее 😉
🤔 Комплекс моделей для платформы ботов Альфы уже сейчас работает с высокой точностью порядка девяносто процентов. Тем не менее, до ста процентов еще остается значительный гэп, о чем вам скажут даже диванные аналитики, освоившие курс арифметики. Как гэп обычно преодолевают в Data Science?
🏆 В соревнованиях по анализу данных мы регулярно проходим последнюю милю, борясь за десятысячные целевой метрики. На вооружение берутся ансамбли из разных классов моделей, стакаются сотни вариантов, отыскиваются лики в данных для оптимизации своей позиции на лидерборде. Однако не помню, чтобы в соревнованиях выбивали максимальное значение метрики при условии, что разметка тестового датасета не лежала на просторах интернета.
😩 На практике все гораздо сложнее. Во-первых, мы оптимизируем продуктовые метрики, а модельные лишь выполняют роль прокси. Во-вторых, мы можем и должны исправлять качество размеченных данных, а не переобучаться под смещенное распределение. Хакнуть продовые метрики, увы, не получится, ведь машину времени еще не изобрели, что значительно мешает в получении данных из будущего аб-теста на этапе разработки модели.
🏃 Пройти последнюю милю можно через оптимизацию компонент непрерывного цикла улучшения моделей: аналитика качества моделей, разметка данных, моделирование и аб-тестирование.
Подключайтесь завтра к секции "Современные тренды в NLP", расскажу подробнее 😉