Задача направления Big Data в большой группе компаний
Во многих больших компаниях, пытавшихся отдельно от развития новых базовых бизнес-вертикалей монетизировать направление Big Data, эксперимент заканчивается неудачей или, как минимум, очень неуверенным успехом. Обычно большая компания зарабатывает сколько-то сотен миллиардов в год, а такая «прямая» монетизация Big Data даёт еще +0,5-1%. Как-то так себе, согласитесь?
Разберёмся, почему так выходит. Традиционно в компаниях-«гигантах» прорабатывают два пути: внутренние оптимизации за счёт анализа данных и внешние продажи. Внутренние оптимизации действительно и при 1% экономии могут дать большой эффект в абсолюте, но это все-равно по-прежнему будет 1%. Мне вот, кстати, работая в Data Science, всегда было грустно осознавать, сколько интеллекта и труда вкладывается в этот наш 1%, хотя один толковый и опытный менеджер, поправив парочку бизнес-процессов, может обеспечить значительно более крутой результат. Если же мы говорим про внешние продажи, то, сразу отметая прямую продажу данных, что вы будете продавать другой компании? Наверно тоже какой-то эффект на 1-2%. Вам заплатят еще меньше, конечно, но вы можете надеяться выехать на том, что компаний много. Увы, гигантов в каждой отрасли мало, а если еще оставить те отрасли и те размеры компаний, у которых точность измерений не съест этот ваш 1% эффекта, выходит совсем не густо.
Когда я говорю про пару процентов эффекта, я имею ввиду числа при честных замерах, когда умные алгоритмы сравнивают с адекватными эвристиками или работой людей, а не с полным отсутствием каких-то прогнозов. Например, если вы помогаете мобильному оператору приоритизировать строительство базовых станций (чтобы какие-то из них не строить), объявлять всю экономию своим эффектом нечестно. А вот посмотреть, как ваш алгоритм влияет на отток по сравнению с другой методикой приоритизации, и исходя из этого уже считать, сколько денег ваш более точный алгоритм экономит, будет более правильно. Или, например, тоже будет нечестно сравнивать продажи товаров по рекомендациям вашей системы и продажи вообще без рекомендаций. А вот если ваши рекомендашки сравнить с рекомендацией каких-то адекватных топов популярных товаров - уже нормально. Т.е. правильно смотреть на эффект относительно адекватного бейзлайна без всякой там бигдаты и машинлернинга. И вот оказывается, что не то что без ML, даже без бигдаты часто не сильно хуже.
Из-за того, что при продаже моделей на основе анализа больших данных бизнесу продают миллионы и миллиарды экономии, эту деятельность часто называют продажей денег. Звучит красиво, и вроде понятно, что покупка большого количества денег за маленькое количество денег всегда будет пользоваться спросом. Но из рассуждений выше получается, что где-то мы свернули не туда. Часто это просто следствие переоценки размера рынка или возможности распыляться сразу на много рынков. В эту ловушку особенно легко попасть, не зная технические ограничения в виде возможных эффектов моделей и погрешностей измерений метрик в бизнесе. Или необходимого количества данных для получения воспроизводимых и подтверждаемых статистикой результатов.
Настоящий же эффект от Big Data не в том, чтобы кому-то что-то экономить, а в том, чтобы радикально больше зарабатывать. И, пока вы не записали меня в «мотивационные спикеры» с очевидными идеями, поясню мысль: современный бизнес меняется, и то что раньше было банком или телекомом, сегодня им не является. Почему трудно угнаться за тем же Тинькофф банком? Потому что он не банк, а IT компания, и заложено это было довольно давно. Почему Яндекс может развивать такси или фудтех бизнес, а другие нет? Потому что технологии и люди внутри Яндекса позволяют строить это как бизнес из будущего, а не из настоящего. Открыть компании дорогу к новым современным бизнесам, в которые без технологий не сунешься, - вот основная задача Big Data и самая крутая монетизация.
Во многих больших компаниях, пытавшихся отдельно от развития новых базовых бизнес-вертикалей монетизировать направление Big Data, эксперимент заканчивается неудачей или, как минимум, очень неуверенным успехом. Обычно большая компания зарабатывает сколько-то сотен миллиардов в год, а такая «прямая» монетизация Big Data даёт еще +0,5-1%. Как-то так себе, согласитесь?
Разберёмся, почему так выходит. Традиционно в компаниях-«гигантах» прорабатывают два пути: внутренние оптимизации за счёт анализа данных и внешние продажи. Внутренние оптимизации действительно и при 1% экономии могут дать большой эффект в абсолюте, но это все-равно по-прежнему будет 1%. Мне вот, кстати, работая в Data Science, всегда было грустно осознавать, сколько интеллекта и труда вкладывается в этот наш 1%, хотя один толковый и опытный менеджер, поправив парочку бизнес-процессов, может обеспечить значительно более крутой результат. Если же мы говорим про внешние продажи, то, сразу отметая прямую продажу данных, что вы будете продавать другой компании? Наверно тоже какой-то эффект на 1-2%. Вам заплатят еще меньше, конечно, но вы можете надеяться выехать на том, что компаний много. Увы, гигантов в каждой отрасли мало, а если еще оставить те отрасли и те размеры компаний, у которых точность измерений не съест этот ваш 1% эффекта, выходит совсем не густо.
Когда я говорю про пару процентов эффекта, я имею ввиду числа при честных замерах, когда умные алгоритмы сравнивают с адекватными эвристиками или работой людей, а не с полным отсутствием каких-то прогнозов. Например, если вы помогаете мобильному оператору приоритизировать строительство базовых станций (чтобы какие-то из них не строить), объявлять всю экономию своим эффектом нечестно. А вот посмотреть, как ваш алгоритм влияет на отток по сравнению с другой методикой приоритизации, и исходя из этого уже считать, сколько денег ваш более точный алгоритм экономит, будет более правильно. Или, например, тоже будет нечестно сравнивать продажи товаров по рекомендациям вашей системы и продажи вообще без рекомендаций. А вот если ваши рекомендашки сравнить с рекомендацией каких-то адекватных топов популярных товаров - уже нормально. Т.е. правильно смотреть на эффект относительно адекватного бейзлайна без всякой там бигдаты и машинлернинга. И вот оказывается, что не то что без ML, даже без бигдаты часто не сильно хуже.
Из-за того, что при продаже моделей на основе анализа больших данных бизнесу продают миллионы и миллиарды экономии, эту деятельность часто называют продажей денег. Звучит красиво, и вроде понятно, что покупка большого количества денег за маленькое количество денег всегда будет пользоваться спросом. Но из рассуждений выше получается, что где-то мы свернули не туда. Часто это просто следствие переоценки размера рынка или возможности распыляться сразу на много рынков. В эту ловушку особенно легко попасть, не зная технические ограничения в виде возможных эффектов моделей и погрешностей измерений метрик в бизнесе. Или необходимого количества данных для получения воспроизводимых и подтверждаемых статистикой результатов.
Настоящий же эффект от Big Data не в том, чтобы кому-то что-то экономить, а в том, чтобы радикально больше зарабатывать. И, пока вы не записали меня в «мотивационные спикеры» с очевидными идеями, поясню мысль: современный бизнес меняется, и то что раньше было банком или телекомом, сегодня им не является. Почему трудно угнаться за тем же Тинькофф банком? Потому что он не банк, а IT компания, и заложено это было довольно давно. Почему Яндекс может развивать такси или фудтех бизнес, а другие нет? Потому что технологии и люди внутри Яндекса позволяют строить это как бизнес из будущего, а не из настоящего. Открыть компании дорогу к новым современным бизнесам, в которые без технологий не сунешься, - вот основная задача Big Data и самая крутая монетизация.