Невероятно интересный документ, allegedly утекший из внутренней переписки Гугла. Анализ сводится к тому, что ни Гугл, ни OpenAI не имеют долгосрочных конкурентных защитных позиций (aka “moat”, ров) перед open source моделями. Это хороший сигнал для веб3 + AI и коммодитизации моделей, но довольно тревожный с т.з. AI alignment.
В документе приводится несколько примеров, показывающих что модель настроенная за вечер на средней мощности ноутбуке (например, бесплатная LLaMa с 13В параметров) или планшете принципиально не отличается по функционалу от тех что стоят десятки миллионов долларов и имеют по пол-триллиона параметров.
Цитата: «The barrier to entry for training and experimentation has dropped from the total output of a major research organization to one person, an evening, and a beefy laptop»
Я писал несколько лет назад про теорию канализационной крысы — это когда, организм имеющий доступ ко всем возможным патогенам куда более устойчив, чем тот что живет в стерильных условиях. Это верно про безопасность Биткоина, но так же верно и про AI инструменты.
Открытое сообщества исследователей, билдеров, предпринимателей с макбуками и желанием строить крутые продукты неизбежно побеждают корпорации там, где экономия масштаба не имеет преимуществ. Для GPT-3 важным шагом было залить сетку трансформеров баблом (GPU + RLHF), но сегодня инновации движутся в более тонком и потому доступном многим направлении. Автор особенно фокусируется на технологии LoRA, которая позволяет файнтьюнить и адаптировать существующие модели без необходимости тратить деньги на тысячи GPU-часов.
Итого, очень рекомендую: текст крайне точно передает стремительность развития ИИ от лица человека находящегося глубоко в индустрии.
В документе приводится несколько примеров, показывающих что модель настроенная за вечер на средней мощности ноутбуке (например, бесплатная LLaMa с 13В параметров) или планшете принципиально не отличается по функционалу от тех что стоят десятки миллионов долларов и имеют по пол-триллиона параметров.
Цитата: «The barrier to entry for training and experimentation has dropped from the total output of a major research organization to one person, an evening, and a beefy laptop»
Я писал несколько лет назад про теорию канализационной крысы — это когда, организм имеющий доступ ко всем возможным патогенам куда более устойчив, чем тот что живет в стерильных условиях. Это верно про безопасность Биткоина, но так же верно и про AI инструменты.
Открытое сообщества исследователей, билдеров, предпринимателей с макбуками и желанием строить крутые продукты неизбежно побеждают корпорации там, где экономия масштаба не имеет преимуществ. Для GPT-3 важным шагом было залить сетку трансформеров баблом (GPU + RLHF), но сегодня инновации движутся в более тонком и потому доступном многим направлении. Автор особенно фокусируется на технологии LoRA, которая позволяет файнтьюнить и адаптировать существующие модели без необходимости тратить деньги на тысячи GPU-часов.
Итого, очень рекомендую: текст крайне точно передает стремительность развития ИИ от лица человека находящегося глубоко в индустрии.