У Саши Раша повыходили видео с GenAI воркшопа, из них примерно 3 показались мне интересными. Одно из них от главного организатора RWKV.
Приложенная картинка по-моему очень хороша. Она показывает, сколько ресурсов вам нужно, чтобы сегодня нормально протестировать новую архитектуру языковой модели. И на каких уровнях у вас начнут возникать проблемы.
Кроме того, описывается то, как в RWKV устроены эскперименты и процесс принятия решений, и там всё тоже довольно прикольно: Дискорд как основная платформа, тесты сначала на маленьких моделях, контроль расписания кластеров очень малым числом людей.
Видео просмотра точно стоит, да и идёт всего 13 минут.
Приложенная картинка по-моему очень хороша. Она показывает, сколько ресурсов вам нужно, чтобы сегодня нормально протестировать новую архитектуру языковой модели. И на каких уровнях у вас начнут возникать проблемы.
Кроме того, описывается то, как в RWKV устроены эскперименты и процесс принятия решений, и там всё тоже довольно прикольно: Дискорд как основная платформа, тесты сначала на маленьких моделях, контроль расписания кластеров очень малым числом людей.
Видео просмотра точно стоит, да и идёт всего 13 минут.