Cerebras: новый процессор для AI-моделей
Современные нейросети обучаются на кластерах с процессорами GPU. Чем "сложнее" нейросеть, чем больше у нее параметров — тем больше времени требуется для ее обучения. Иногда обучение сетей занимает недели.
Одна из самых "тяжелых" на сегодняшний день сетей — GPT-3. У нее 160 миллиардов параметров. Думаю, вы видите, насколько GPT-3 стали популярны, как исследователи со всего мира делают свои версии GPT-3 и стараются сделать еще более сложные модели.
Нейросети становятся все сложнее, GPU перестают справляться. Нужны более мощные процессоры.
Знакомьтесь: Cerebrus — стартап, который презентовал самый большой в мире чип. Его длина — около 22см: это в 56 раз больше размеров GPU и сопоставимо с размерами iPad! (см фото к посту выше).
В чем прикол?
Для обучения большой нейросети на одну нейросеть требуется несколько десятков GPU. В процессе обучения GPU взаимодействуют между собой, передавая информацию от чипа к чипу. Передача информации между GPU — "узкое место", которое довольно сильно замедляет процесс обучения. Чип огромного размера отчасти решает эту проблему: вместо кучи маленьких чипов будет один, внутри которого не нужно перекидывать информацию от одной части к другой. Тем самым достигается ускорение.
Cerebras утверждают, что новый чип будет способен обучать сети с 120 триллионами параметров и сможет производить вычисления в 50 раз быстрее самых лучших GPU. Правда, экспериментально это пока не проверялось Причина этого, хм, интересная: в компании заявили, что "мы инженеры, а не ученые в области ИИ, поэтому мы не обучали на нашем чипе модели. К тому же, нейросетей с 120 триллионами параметров пока что просто не существует"
Что ж, ждем реузльтатов полевых тестов чипа: обучения на нем хотя бы какой-то нейронки. При этом Cerebrus уже замахивается на крупное: они ведут переговоры с OpenAI по созднию GPT-4: модели следующего поколения, которая будет иметь несколько триллионов параметров. Для нее как раз можно будет использовать чип Cerebrus. Кстати, Сэм Альтман, один из основателей OpenAI — инвестирует в Cerebrus. Похоже, задумка огромного чипа — не такая уж и странная, как может показаться.
Проблемы
Несмотря на громкие заявления и хайп, компании предстоит решить несколько инженерных проблем. Во-первых, это организация передачи данных на чип и обратно (у чипа Cerebrus нет встроенной памяти, как у GPU). Cerebrus решают эту проблему внешним модулем памяти и специальным софтом, но еще предстоит узнать, насколько это решение эффективно.
Во-вторых, технические трудности: как организовать систему охлаждения такого большого чипа и подобрать удачное расположение элементов в нем.
Ну что, уже знаете, какую огромную нейронку обучите в первую очередь, когда чип станет доступен? 🙃
Материалы по чипу Cerebrus: Wired, The New Yorker
Современные нейросети обучаются на кластерах с процессорами GPU. Чем "сложнее" нейросеть, чем больше у нее параметров — тем больше времени требуется для ее обучения. Иногда обучение сетей занимает недели.
Одна из самых "тяжелых" на сегодняшний день сетей — GPT-3. У нее 160 миллиардов параметров. Думаю, вы видите, насколько GPT-3 стали популярны, как исследователи со всего мира делают свои версии GPT-3 и стараются сделать еще более сложные модели.
Нейросети становятся все сложнее, GPU перестают справляться. Нужны более мощные процессоры.
Знакомьтесь: Cerebrus — стартап, который презентовал самый большой в мире чип. Его длина — около 22см: это в 56 раз больше размеров GPU и сопоставимо с размерами iPad! (см фото к посту выше).
В чем прикол?
Для обучения большой нейросети на одну нейросеть требуется несколько десятков GPU. В процессе обучения GPU взаимодействуют между собой, передавая информацию от чипа к чипу. Передача информации между GPU — "узкое место", которое довольно сильно замедляет процесс обучения. Чип огромного размера отчасти решает эту проблему: вместо кучи маленьких чипов будет один, внутри которого не нужно перекидывать информацию от одной части к другой. Тем самым достигается ускорение.
Cerebras утверждают, что новый чип будет способен обучать сети с 120 триллионами параметров и сможет производить вычисления в 50 раз быстрее самых лучших GPU. Правда, экспериментально это пока не проверялось Причина этого, хм, интересная: в компании заявили, что "мы инженеры, а не ученые в области ИИ, поэтому мы не обучали на нашем чипе модели. К тому же, нейросетей с 120 триллионами параметров пока что просто не существует"
Что ж, ждем реузльтатов полевых тестов чипа: обучения на нем хотя бы какой-то нейронки. При этом Cerebrus уже замахивается на крупное: они ведут переговоры с OpenAI по созднию GPT-4: модели следующего поколения, которая будет иметь несколько триллионов параметров. Для нее как раз можно будет использовать чип Cerebrus. Кстати, Сэм Альтман, один из основателей OpenAI — инвестирует в Cerebrus. Похоже, задумка огромного чипа — не такая уж и странная, как может показаться.
Проблемы
Несмотря на громкие заявления и хайп, компании предстоит решить несколько инженерных проблем. Во-первых, это организация передачи данных на чип и обратно (у чипа Cerebrus нет встроенной памяти, как у GPU). Cerebrus решают эту проблему внешним модулем памяти и специальным софтом, но еще предстоит узнать, насколько это решение эффективно.
Во-вторых, технические трудности: как организовать систему охлаждения такого большого чипа и подобрать удачное расположение элементов в нем.
Ну что, уже знаете, какую огромную нейронку обучите в первую очередь, когда чип станет доступен? 🙃
Материалы по чипу Cerebrus: Wired, The New Yorker