Если вы смотрели сериал "Silicon Valley" и не пропустили последний эпизод, то помните, чем всё кончилось: команда собирается вместе *дцать лет спустя, вспоминает былое 👴
Давайте посмотрим, что стало с авторами нейросетевой архитектуры Transformer, которая лежит в основе ChatGPT и GPT-4.
Она была представлена в статье "Attention is all you need" от исследовательского отдела Google (Июнь 2017го). Авторы идут в том же порядке, что указан в статье, а тот, в свою очередь, был случайным.
Ashish Vaswani — покинул Google в конце 2021 года, чтобы создать свою компанию Adept, которая на данный момент привлекла $415m и оценивается более чем в $1B. Однако... Ashish покинул компанию несколько месяцев назад - в декабре 2022го года, сразу после релиза ChatGPT👀 и основал новый стартап, у которого нет названия, и не ясно, сколько людей и над чем там работают. В статье указано, что он работал над дизайном модели на ранних этапах и запрограммировал всё это дело.
Noam Shazeer — работал в Google больше 20 лет, с декабря 2000-го. В октябре 2021го уволился и основал стартап Character.ai. С того времени компания уже привлекла $200m и достигла оценки в почти миллиард. Если верить LinkedIn, то там работает около 20 сотрудников, так что value в пересчёте на нос впечатляет. Именно Noam привнёс идею разных "голов" в механизме внимания.
Niki Parmar — единственная девушка-соавтор статьи, была Staff Researcher в команде Google Brain до ноября 2021го, а затем - ушла к первому упомянутому автору, Ashish Vaswani, в Adept. Однако, как мы уже знаем, надолго там они не задержались - и ушли вместе в новый проект. Niki проводила множество экспериментов по обучению и валидации моделей.
Jakob Uszkoreit — многие называют его главным мозгом, стоящим за изобретением архитектуры Transformer. Именно он предложил заменить реккурентные сети подобным механизмом "внимания", и начал прототипирование первого подхода. Он покинул Google в середине 2021 года и основал Inceptive Life, где команда работает над моделированием мРНК с помощью нейросетей. мРНК - это то, что (иногда) лежит в основе вакцин (Pfizer–BioNTech от коронавируса как пример).
Llion Jones — единственный из всех, кто остался работать в Google на сегодняшний день. С его слов, именно он предложил название статьи, которое стало мемом и породило десятки других статей с паттерном "X is all you need". Помимо этого, отвечал за оптимизацию инференса модели и визуализации для экспериментов/статьи.
Aidan Gomez — ушел из Google осенью 2019го, чтобы основать Cohere.ai. В компании продолжают заниматься языковыми моделями, часть их продуктов похожа на юзкейсы, которые люди делали в первые дни после выхода ChatGPT. Удалось привлечь более $400m инвестиций и вырастить компанию до почти 200 сотрудников.
Lukasz Kaiser — после более чем 7 лет работы в Google, ушел летом 2021го работать в ... OpenAI. В оригинальной статье указано, что Lukasz отвечал за разработку и оптимизацию кода, В целом, оно и ясно - ведь он один из соавторов TensorFlow, библиотеки для создания и обучения нейросетей. В общем, очень сильный инженер - и теперь работает над GPT👀 В рамках работы над Transformer вместе с Aidan Gomez работал над улучшением кодовой базы и ускорением итераций в исследовательской работе (через облегчение взаимодействия и прототипирования).
Illia Polosukhin — покинул Google в 2017м году, еще до релиза статьи, чтобы основать Near - протокол блокчейна, по сути конкурент Ethereum. Текущая оценка порядка ~$2B, а всего за 6 лет было привлечено более $375m в качестве инвестиций.
Источник тут.
Давайте посмотрим, что стало с авторами нейросетевой архитектуры Transformer, которая лежит в основе ChatGPT и GPT-4.
Она была представлена в статье "Attention is all you need" от исследовательского отдела Google (Июнь 2017го). Авторы идут в том же порядке, что указан в статье, а тот, в свою очередь, был случайным.
Ashish Vaswani — покинул Google в конце 2021 года, чтобы создать свою компанию Adept, которая на данный момент привлекла $415m и оценивается более чем в $1B. Однако... Ashish покинул компанию несколько месяцев назад - в декабре 2022го года, сразу после релиза ChatGPT
Noam Shazeer — работал в Google больше 20 лет, с декабря 2000-го. В октябре 2021го уволился и основал стартап Character.ai. С того времени компания уже привлекла $200m и достигла оценки в почти миллиард. Если верить LinkedIn, то там работает около 20 сотрудников, так что value в пересчёте на нос впечатляет. Именно Noam привнёс идею разных "голов" в механизме внимания.
Niki Parmar — единственная девушка-соавтор статьи, была Staff Researcher в команде Google Brain до ноября 2021го, а затем - ушла к первому упомянутому автору, Ashish Vaswani, в Adept. Однако, как мы уже знаем, надолго там они не задержались - и ушли вместе в новый проект. Niki проводила множество экспериментов по обучению и валидации моделей.
Jakob Uszkoreit — многие называют его главным мозгом, стоящим за изобретением архитектуры Transformer. Именно он предложил заменить реккурентные сети подобным механизмом "внимания", и начал прототипирование первого подхода. Он покинул Google в середине 2021 года и основал Inceptive Life, где команда работает над моделированием мРНК с помощью нейросетей. мРНК - это то, что (иногда) лежит в основе вакцин (Pfizer–BioNTech от коронавируса как пример).
Llion Jones — единственный из всех, кто остался работать в Google на сегодняшний день. С его слов, именно он предложил название статьи, которое стало мемом и породило десятки других статей с паттерном "X is all you need". Помимо этого, отвечал за оптимизацию инференса модели и визуализации для экспериментов/статьи.
Aidan Gomez — ушел из Google осенью 2019го, чтобы основать Cohere.ai. В компании продолжают заниматься языковыми моделями, часть их продуктов похожа на юзкейсы, которые люди делали в первые дни после выхода ChatGPT. Удалось привлечь более $400m инвестиций и вырастить компанию до почти 200 сотрудников.
Lukasz Kaiser — после более чем 7 лет работы в Google, ушел летом 2021го работать в ... OpenAI. В оригинальной статье указано, что Lukasz отвечал за разработку и оптимизацию кода, В целом, оно и ясно - ведь он один из соавторов TensorFlow, библиотеки для создания и обучения нейросетей. В общем, очень сильный инженер - и теперь работает над GPT
Illia Polosukhin — покинул Google в 2017м году, еще до релиза статьи, чтобы основать Near - протокол блокчейна, по сути конкурент Ethereum. Текущая оценка порядка ~$2B, а всего за 6 лет было привлечено более $375m в качестве инвестиций.
Источник тут.