Neo Semiconductor представила память 3D X-AI для обработки ИИ-нагрузок без GPU
Компания Neo Semiconductor разработала чипы 3D X-AI, которые могут заменить память HBM, используемую в современных ускорителях на базе графических процессоров. Новая память 3D DRAM имеет встроенный модуль обработки ИИ, который принимает на себя потоки данных, не требующие математических вычислений.
Это решает проблему узкой шины между процессором и памятью, повышая производительность и эффективность систем ИИ. В основе 3D X-AI лежит слой нейронной схемы, обрабатывающий данные из 300 слоёв памяти на том же кристалле. Плотность памяти в восемь раз превышает HBM, а 8000 нейронных схем обеспечивают 100-кратный рост производительности за счёт обработки данных прямо в памяти. Это радикально сокращает объём передаваемых данных и снижает потребление энергии ускорителем на 99%.
"Существующие чипы для ИИ неэффективны из-за архитектурной и технологической неэффективности. 3D X-AI может осуществлять обработку данных ИИ в каждом чипе HBM, что значительно сокращает объём данных, передаваемых между HBM и графическим процессором", - сказал основатель и гендиректор NEO Semiconductor Энди Сю (Andy Hsu).
3D X-AI
Один кристалл 3D X-AI имеет ёмкость 128 Гбайт и предлагает скорость обработки данных ИИ 10 Тбайт/с. Двенадцать кристаллов в одном корпусе HBM могут обеспечить объём в 1,5 Тбайт памяти с пропускной способностью 120 Тбайт/с.
Решения NEO Semiconductor могут сделать ускорители намного эффективнее, чем сегодня, особенно на фоне развития оптических технологий, которые ускоряют связь между компонентами.
Компания Neo Semiconductor разработала чипы 3D X-AI, которые могут заменить память HBM, используемую в современных ускорителях на базе графических процессоров. Новая память 3D DRAM имеет встроенный модуль обработки ИИ, который принимает на себя потоки данных, не требующие математических вычислений.
Это решает проблему узкой шины между процессором и памятью, повышая производительность и эффективность систем ИИ. В основе 3D X-AI лежит слой нейронной схемы, обрабатывающий данные из 300 слоёв памяти на том же кристалле. Плотность памяти в восемь раз превышает HBM, а 8000 нейронных схем обеспечивают 100-кратный рост производительности за счёт обработки данных прямо в памяти. Это радикально сокращает объём передаваемых данных и снижает потребление энергии ускорителем на 99%.
"Существующие чипы для ИИ неэффективны из-за архитектурной и технологической неэффективности. 3D X-AI может осуществлять обработку данных ИИ в каждом чипе HBM, что значительно сокращает объём данных, передаваемых между HBM и графическим процессором", - сказал основатель и гендиректор NEO Semiconductor Энди Сю (Andy Hsu).
3D X-AI
Один кристалл 3D X-AI имеет ёмкость 128 Гбайт и предлагает скорость обработки данных ИИ 10 Тбайт/с. Двенадцать кристаллов в одном корпусе HBM могут обеспечить объём в 1,5 Тбайт памяти с пропускной способностью 120 Тбайт/с.
Решения NEO Semiconductor могут сделать ускорители намного эффективнее, чем сегодня, особенно на фоне развития оптических технологий, которые ускоряют связь между компонентами.