Путь Аналитика -> ML -> DL и оценка чистого эффекта
🚀 Эффективность подразделений анализа данных раньше часто оценивали по количеству внедренных моделей, сейчас все чаще оценивают по финансовому эффекту от них. Метрика стала лучше коррелировать с целями бизнеса, но нередко ML и DL стали поедать эффекты от простой аналитики. Компании отчитываются о сверхприбылях за счет машинного обучения, перегревают область и нанимают тысячи дата сайентистов. Однако, не каждому бизнесу сейчас действительно нужен ML. Одним компаниям стоит начать с продуктовой аналитики, а некоторым и вовсе ей ограничиться. Рассмотрим тесную связь аналитики с машинным и глубоким обучением, а также разберем как правильно считать чистый эффект от каждой из компонент.
🥇 Аналитические правила позволяют достичь максимум 💸💸💸 эффекта за минимальное время. Вам не потребуется закупать отдельные сервера для разработки и исполнения моделей, мониторить стабильность моделей и даже нанимать дата сайентистов. Качественная аналитика позволит вам в моменте начать приносить пользу бизнесу и найти потенциальные зоны применения ML. В дальнейшем, разработанные правила могут стать хорошими признаки для ML-моделей.
🥈 Классический ML лучше применять после построения аналитической культуры в продукте/компании. Без такой культуры сложно будет трезво оценивать пользу от ML-моделей. Объективная потребность в моделях появляется при значительном повышении точности на десятке-сотне признаков относительно одного-двух аналитических правил. Хотите оценить реальный вклад машинного обучения в решение задачи? Сравнивайте метрики качества моделей с сильными аналитическими бейзлайнами. Узнайте какое значение метрики дает среднее/медиана за предыдущий период в задаче регрессии или самый популярный элемент - в задаче рекомендаций. В итоге, чистый эффект 💸💸 от применения ML = эффект от ML-моделей - эффект от аналитических правил.
🥉 Глубокое обучение лучше применять если у вас уже внедрен ML или вы планируете работать с картинками, звуком или текстом. Развитие DL в компании всегда требует серьезных инвестиции в железо и разметку данных. Стоит помнить, что не всегда удается побить нейронными сетями классический ML, так например, 📺 команда Тинькофф побила BERT логрегом в задаче классификации на 117 классов. Более того, в некоторых задачах можно ограничиться и вовсе регулярками, так например, в соревновании по выделение брендов они показали себя лучше BERTа. Чистый эффект 💸 от применения DL = эффект от DL-моделей - эффект от ML-моделей.
Последовательное развитие по пути Аналитика -> ML -> DL позволяет получить максимум эффекта за минимальное время. Более того, этот путь закладывает сильные бейзлайны для каждого следующего этапа. Обратите внимание на оценку чистого эффекта - она позволяет принимать правильные управленческие решение бизнесу.
👍 Оценивать точно финансовый эффект помогает а/б-тестирование, правильно приоритизировать задачи - высокая аналитическая культура. Советую подписаться на канал @ml4value чтобы подчерпнуть лучшие практики и перенести их в свою команду.
💬 В последнее время много ажиотажа вокруг графовых нейронных сетей. К сожалению, не натыкался на их сравнение с сильным бейзлайном - бустинг на агрегации признаков ближайших соседей. Пришлите, плиз, ссылки на такие работы, если они вам встречались.
🚀 Эффективность подразделений анализа данных раньше часто оценивали по количеству внедренных моделей, сейчас все чаще оценивают по финансовому эффекту от них. Метрика стала лучше коррелировать с целями бизнеса, но нередко ML и DL стали поедать эффекты от простой аналитики. Компании отчитываются о сверхприбылях за счет машинного обучения, перегревают область и нанимают тысячи дата сайентистов. Однако, не каждому бизнесу сейчас действительно нужен ML. Одним компаниям стоит начать с продуктовой аналитики, а некоторым и вовсе ей ограничиться. Рассмотрим тесную связь аналитики с машинным и глубоким обучением, а также разберем как правильно считать чистый эффект от каждой из компонент.
🥇 Аналитические правила позволяют достичь максимум 💸💸💸 эффекта за минимальное время. Вам не потребуется закупать отдельные сервера для разработки и исполнения моделей, мониторить стабильность моделей и даже нанимать дата сайентистов. Качественная аналитика позволит вам в моменте начать приносить пользу бизнесу и найти потенциальные зоны применения ML. В дальнейшем, разработанные правила могут стать хорошими признаки для ML-моделей.
🥈 Классический ML лучше применять после построения аналитической культуры в продукте/компании. Без такой культуры сложно будет трезво оценивать пользу от ML-моделей. Объективная потребность в моделях появляется при значительном повышении точности на десятке-сотне признаков относительно одного-двух аналитических правил. Хотите оценить реальный вклад машинного обучения в решение задачи? Сравнивайте метрики качества моделей с сильными аналитическими бейзлайнами. Узнайте какое значение метрики дает среднее/медиана за предыдущий период в задаче регрессии или самый популярный элемент - в задаче рекомендаций. В итоге, чистый эффект 💸💸 от применения ML = эффект от ML-моделей - эффект от аналитических правил.
🥉 Глубокое обучение лучше применять если у вас уже внедрен ML или вы планируете работать с картинками, звуком или текстом. Развитие DL в компании всегда требует серьезных инвестиции в железо и разметку данных. Стоит помнить, что не всегда удается побить нейронными сетями классический ML, так например, 📺 команда Тинькофф побила BERT логрегом в задаче классификации на 117 классов. Более того, в некоторых задачах можно ограничиться и вовсе регулярками, так например, в соревновании по выделение брендов они показали себя лучше BERTа. Чистый эффект 💸 от применения DL = эффект от DL-моделей - эффект от ML-моделей.
Последовательное развитие по пути Аналитика -> ML -> DL позволяет получить максимум эффекта за минимальное время. Более того, этот путь закладывает сильные бейзлайны для каждого следующего этапа. Обратите внимание на оценку чистого эффекта - она позволяет принимать правильные управленческие решение бизнесу.
👍 Оценивать точно финансовый эффект помогает а/б-тестирование, правильно приоритизировать задачи - высокая аналитическая культура. Советую подписаться на канал @ml4value чтобы подчерпнуть лучшие практики и перенести их в свою команду.
💬 В последнее время много ажиотажа вокруг графовых нейронных сетей. К сожалению, не натыкался на их сравнение с сильным бейзлайном - бустинг на агрегации признаков ближайших соседей. Пришлите, плиз, ссылки на такие работы, если они вам встречались.