Emad Mostaque (его твиттер), CEO и co-founder Stability AI ($4 млрд оценка, авторы легендарного генератора картинок Stable Diffusion), оч интересно за 1 час 11 мин рассказал на подкасте 20minVC про как рухнет текущий AI хайп:
- Родился в Иордане, вырос в Бангладеше, учился в UK, в 2022 побывал в Silicon Valley и оч шокирован однородностью ее культуры. Начинал в hedge funds industry, но спустя 13 лет ушел в AI когда задумался как засолвить лечение аутизма у его ребенка, “тк знаю как декомпозировать things и делать AI teams”, сын в итоге пошел в школу. Пропускная способность мозга ограничена -> мир выиграет от тысяч GPT4+, извлекающих взаимосвязи + даст реально individualized медицину (e.g. его сыну была нужна двойная доза лекарств)
- Пузырь AI на порядки больше чем дотком баббл: какие $100 млн инвестиций чисто по звездочкам на Github или з/п $1.2 млн/год в Китае лучшим AI PhD или “PWC вложит $1 млрд в AI”? Это overinvestment в тему, too big mismatch, т.к. заделиверят меньше и будет жесть, наступит хаос. Мир выиграет: от уменьшения слишком параллельного решения research задач (open source рулит), от стандартизации требований к качеству данных (появятся национальные данные, supranational data итп)
и
- Мы увидели на Stable Diffusion что можно делать foundational models, а дальше люди их разворачивают в нужные им модальности. Через 3-5 лет будет 5 foundational models companies: мы, Nvidia, Google, Meta, Msft, может Apple и Antropic. А Open AI не бизнес, строят AGI чтобы привести мир к utopia, взяли $10 млрд у Msft, под это к ним едут из лучших лаб мира
- Все модели будут нуждаться в адаптации под локальные контексты (личные данные + что приемлемо в культуре), + в образовании, в медицине. Работаем с властями стран, раздаем гранты на open source десятки млн $ - делаем стандарты, и весь мир сможет запускаться на локальных девайсах с учетом local contexts. Прогресс будет за счет улучшений данных (а не роста их объема), а иначе парсим весь Reddit (люди же небрежны + biased) и тратим полгода на computation для GPT4? Галлюцинации моделей - это просто как креативные части нашего мозга - иногда и они генерят бред, 100% фактурности не будет, общественность недопонимает это
- Google круты (на их TPU у нас 0 errors, а обычные GPU подвержены влиянию солнца), улучшают оргкультуру (раньше была моно, страх, а теперь deepmind/brain/google коллаборируют). Верю в открытые модели, на благо всего человечества. Мы open source’им все, полностью auditable, идем в 170 стран. Миру нужны и приватные модели, и открытые - власти же не смогут ехать на black box’ах. Страны будут строить supercomputers, а мы на них тренить наши модели и open source’ить (так что нам пофигу $150 млрд кэша у Гугла)
- Да, старые профессии исчезнут: фрилансеры всякие, GPT достигает уровня разраба grade3 в гугл, индусам поплохеет, медиа оч. страдают (люди стали привыкать к synthesized ответам, ведь переход на GPT - это же противоположность web3 - все оч просто), но это же и есть задача entrepreneurs - породить new professions, в тч на основе новых страновых datasets? Мы же переехали из аналоговой эпохи в digital age, теперь вот в AI age идем
- Prompting это как lego. Да уже 50% кода на github сгенерено AI. А 20 лет назад я кодил на ассемблере.. Entrepreneurship все равно остается тем же: value + customer satisfaction, а сейас все конечно distracted by technology. Prompting сложно - меня жена уже 17 лет пытается запромптить )
- Enterprises? Будут хранить данные внутри, но хотят ответы быстрее, так что ОК с моделями извне - это opportunity for startups. Мы пока со всеми партнеримся, помогаем им stay on the edge в AI, ничего не продаем
- AI alignment? Хрень, я готов дать $1 млрд за конкретику. Фундаментально это все равно что пытаться лишать свободы более способную персону. Ей можно только дать хорошее образование (как мы сами - учились на всех знаниях человечества). Сложно прогнозировать последствия ботов, пример: в США 27% мужчин <30 лет - девственники (в 2008 - 8%) - это PornHub и iPhone’ы
- Родился в Иордане, вырос в Бангладеше, учился в UK, в 2022 побывал в Silicon Valley и оч шокирован однородностью ее культуры. Начинал в hedge funds industry, но спустя 13 лет ушел в AI когда задумался как засолвить лечение аутизма у его ребенка, “тк знаю как декомпозировать things и делать AI teams”, сын в итоге пошел в школу. Пропускная способность мозга ограничена -> мир выиграет от тысяч GPT4+, извлекающих взаимосвязи + даст реально individualized медицину (e.g. его сыну была нужна двойная доза лекарств)
- Пузырь AI на порядки больше чем дотком баббл: какие $100 млн инвестиций чисто по звездочкам на Github или з/п $1.2 млн/год в Китае лучшим AI PhD или “PWC вложит $1 млрд в AI”? Это overinvestment в тему, too big mismatch, т.к. заделиверят меньше и будет жесть, наступит хаос. Мир выиграет: от уменьшения слишком параллельного решения research задач (open source рулит), от стандартизации требований к качеству данных (появятся национальные данные, supranational data итп)
и
- Мы увидели на Stable Diffusion что можно делать foundational models, а дальше люди их разворачивают в нужные им модальности. Через 3-5 лет будет 5 foundational models companies: мы, Nvidia, Google, Meta, Msft, может Apple и Antropic. А Open AI не бизнес, строят AGI чтобы привести мир к utopia, взяли $10 млрд у Msft, под это к ним едут из лучших лаб мира
- Все модели будут нуждаться в адаптации под локальные контексты (личные данные + что приемлемо в культуре), + в образовании, в медицине. Работаем с властями стран, раздаем гранты на open source десятки млн $ - делаем стандарты, и весь мир сможет запускаться на локальных девайсах с учетом local contexts. Прогресс будет за счет улучшений данных (а не роста их объема), а иначе парсим весь Reddit (люди же небрежны + biased) и тратим полгода на computation для GPT4? Галлюцинации моделей - это просто как креативные части нашего мозга - иногда и они генерят бред, 100% фактурности не будет, общественность недопонимает это
- Google круты (на их TPU у нас 0 errors, а обычные GPU подвержены влиянию солнца), улучшают оргкультуру (раньше была моно, страх, а теперь deepmind/brain/google коллаборируют). Верю в открытые модели, на благо всего человечества. Мы open source’им все, полностью auditable, идем в 170 стран. Миру нужны и приватные модели, и открытые - власти же не смогут ехать на black box’ах. Страны будут строить supercomputers, а мы на них тренить наши модели и open source’ить (так что нам пофигу $150 млрд кэша у Гугла)
- Да, старые профессии исчезнут: фрилансеры всякие, GPT достигает уровня разраба grade3 в гугл, индусам поплохеет, медиа оч. страдают (люди стали привыкать к synthesized ответам, ведь переход на GPT - это же противоположность web3 - все оч просто), но это же и есть задача entrepreneurs - породить new professions, в тч на основе новых страновых datasets? Мы же переехали из аналоговой эпохи в digital age, теперь вот в AI age идем
- Prompting это как lego. Да уже 50% кода на github сгенерено AI. А 20 лет назад я кодил на ассемблере.. Entrepreneurship все равно остается тем же: value + customer satisfaction, а сейас все конечно distracted by technology. Prompting сложно - меня жена уже 17 лет пытается запромптить )
- Enterprises? Будут хранить данные внутри, но хотят ответы быстрее, так что ОК с моделями извне - это opportunity for startups. Мы пока со всеми партнеримся, помогаем им stay on the edge в AI, ничего не продаем
- AI alignment? Хрень, я готов дать $1 млрд за конкретику. Фундаментально это все равно что пытаться лишать свободы более способную персону. Ей можно только дать хорошее образование (как мы сами - учились на всех знаниях человечества). Сложно прогнозировать последствия ботов, пример: в США 27% мужчин <30 лет - девственники (в 2008 - 8%) - это PornHub и iPhone’ы