Genius Makers
#books #coolstorybob
Дослушал “Genius Makers: The Mavericks who brought AI to Google, Facebook, and the world”. Как вы поняли, всячески рекомендую. В ней помимо истории про успехи и неудачи нейросетей, довольно много жизнеописаний Марвина Мински, Хинтона, Лекуна и прочих героев. Самую впечатляющую байку про Гудфеллоу я уже описал, но в книге будет еще как минимум 10 эпизодов, которые захватят ваше внимание. Вот некоторые из них:
- Как появилась LSTM, Хинтон троллил Шмидхубера расшифровкой Looks Stupid To Me. Но спустя несколько лет пришлось признать, что что-то в этом есть;
- Когда еще никто не верил в нейронки, до Image-Net момента, студенты Хинтона побили все соты в Майкрософте. Но там в руководстве было слишком много скептиков-символистов, размахивающих устаревшей статьей Марвина Мински, что перцептрон Розенблатта не решает XOR-проблему. В итоге нейронки по-настоящему раскатились в Гугле и Фэйсбуке, а не Майкрософте;
- Румельхарт, всю жизнь посвятивший идее нейронных сетей, боровшийся за них во все эпизоды массового разочарования- не дожил несколько месяцев до ImageNet-момента;
- Эндрю Ын общался с Ларри Пэйджем и главой поиска в Гугле, пытался убедить, что нейронки - будущее. Экспериментировать с поиском не позволили, но Пэйдж с Брином одобрили открытие лаборатории Google Brain. Ын ее возглавил, но довольно быстро ушел делать Курсеру, а себе на смену посоветовал Хинтона. Хинтон согласился, и первое время формально был в Гугле интерном;
- На одной из конференций Джеф Дин представлял масштабированную гугловскую систему для обучения нейронок. Гудфеллоу, еще студент, встал и потроллил Дина за то, что все на CPU, а не GPU. Иан просто не знал, кто такой Дин;
- Из-за проблем со спиной Хинтон не садился ни разу за 15 лет. “It’s a long-standing problem», говорил он;
- Когда в OpenAI встречали напитками Иана Гудфеллоу, Илья Суцкевер поднял тост за AGI через 3 года. Иан покраснел от кринжа и стал мяться, в какой момент бы сказать, что он отказывается от оффера.
Как всегда, маловато времени уделили Шмидхуберу и советским ученым. Да и повествование обрывается на сюжетах из 21-го года, до LLM-революции. Но все равно в книге найдете еще кучу интересных сюжетов.
#books #coolstorybob
Дослушал “Genius Makers: The Mavericks who brought AI to Google, Facebook, and the world”. Как вы поняли, всячески рекомендую. В ней помимо истории про успехи и неудачи нейросетей, довольно много жизнеописаний Марвина Мински, Хинтона, Лекуна и прочих героев. Самую впечатляющую байку про Гудфеллоу я уже описал, но в книге будет еще как минимум 10 эпизодов, которые захватят ваше внимание. Вот некоторые из них:
- Как появилась LSTM, Хинтон троллил Шмидхубера расшифровкой Looks Stupid To Me. Но спустя несколько лет пришлось признать, что что-то в этом есть;
- Когда еще никто не верил в нейронки, до Image-Net момента, студенты Хинтона побили все соты в Майкрософте. Но там в руководстве было слишком много скептиков-символистов, размахивающих устаревшей статьей Марвина Мински, что перцептрон Розенблатта не решает XOR-проблему. В итоге нейронки по-настоящему раскатились в Гугле и Фэйсбуке, а не Майкрософте;
- Румельхарт, всю жизнь посвятивший идее нейронных сетей, боровшийся за них во все эпизоды массового разочарования- не дожил несколько месяцев до ImageNet-момента;
- Эндрю Ын общался с Ларри Пэйджем и главой поиска в Гугле, пытался убедить, что нейронки - будущее. Экспериментировать с поиском не позволили, но Пэйдж с Брином одобрили открытие лаборатории Google Brain. Ын ее возглавил, но довольно быстро ушел делать Курсеру, а себе на смену посоветовал Хинтона. Хинтон согласился, и первое время формально был в Гугле интерном;
- На одной из конференций Джеф Дин представлял масштабированную гугловскую систему для обучения нейронок. Гудфеллоу, еще студент, встал и потроллил Дина за то, что все на CPU, а не GPU. Иан просто не знал, кто такой Дин;
- Из-за проблем со спиной Хинтон не садился ни разу за 15 лет. “It’s a long-standing problem», говорил он;
- Когда в OpenAI встречали напитками Иана Гудфеллоу, Илья Суцкевер поднял тост за AGI через 3 года. Иан покраснел от кринжа и стал мяться, в какой момент бы сказать, что он отказывается от оффера.
Как всегда, маловато времени уделили Шмидхуберу и советским ученым. Да и повествование обрывается на сюжетах из 21-го года, до LLM-революции. Но все равно в книге найдете еще кучу интересных сюжетов.