ИИ-гонка переходит в слой размышлений.
Интереснейшую статью про ИИ изучил от инвестиционного фонда Секвоя (один из самых крутых в мире: инвестировали на ранней стадии в Apple, Google, YouTube, WhatsApp).
Основные мысли из статьи:
1. Переход к гонке ИИ-размышлений.
Ключевая идея статьи заключается в следующем:
- Сейчас ИИ круто решает быстрые задачки, основанные на имитации закономерностей. Упрощая, вся суть моделей заключается в прогнозирование следующего токена на огромном количестве данных. Например "Какая столица Бутана", "Придумай поздравление друга с ДР". И гонка между моделями заключалась в скорости ответа, стоимости токена. Здесь ключевой фактор успеха - объем данных, который участвовал в обучении. Чем их было больше, тем больше шаблонов внутри модели, которыми она может оперировать.
- Завтра ИИ сможет круто решать задачи, требующие глубоких размышлений. Т.е. модели не будут выдавать ответ сразу, они, получив запрос, будут останавливаться и делать магию: бить задачу на кусочки, по каждому генерировать ряд сценариев ответа, самостоятельно оценивать реализацию каждого сценария, выбирать оптимальный, далее собирать все обратно в кучу, снова оценивать и по итогу возвращаться к пользователю с ответом. По сути это и есть размышление в чистом виде, как его делает человек.
Тут авторы подвешивают интересный вопрос "чем больше времени на вычисления (или «время тестирования») вы даете модели, тем лучше она рассуждает. Что произойдёт, когда модель сможет думать часами? Днями? Десятилетиями? Решим ли мы гипотезу Римана? Ответим ли мы на последний вопрос Азимова?"
2. Индивидуальные когнитивные архитектуры.
Авторы предполагают, что переход к ИИ-размышлениям приведет к появлению потребности в создании индивидуальных когнитивных архитектур (то, как думает ваша система). О чем здесь речь:
- каждая предметная область деятельности человека имеет свою уникальность. В среде разработчиков своя, в среде писателей книг своя, у врачей тоже своя. Также от страны к стране добавляется дополнительный уровень уникализации.
- большие ИИ-модели сначала научатся размышлять, а далее научатся размышлять так как принято в каждой уникальной сфере. И не факт, что этот процесс будет решен централизовано, возможно, здесь как раз появится слой компаний, которые будут создавать индивидуальные когнитивные архитектуры для своих стран и предметных областей.
2.1. Уровни автономии в ИИ-приложениях или путь к индивидуальной когнитивной архитектуре.
В тексте авторы ссылаются на источник из другой статьи. Я его тоже посмотрел, там есть интересное видение уровней автономии в ИИ-приложения (представлено на картинке 4):
1. Программный код - человек вручную пишет код и решает, как будет выглядеть выход каждого шага. Это еще не настоящая когнитивная архитектура.
2. Вызов LLM - здесь происходит небольшая предварительная обработка данных и один вызов LLM.
3. Цепочка вызовов LLM - здесь человек задает логику цепочек запросов к LLM. Например, первым запросом просим разбить задачу на подзадачи, а вторым запросом просим решить каждую по отдельности.
4. Маршрутизатор - до этого мы заранее знали все шаги, которые предпримет приложение. Теперь мы этого больше не знаем, а доверяем определять их LLM.
5. Конечный автомат - это механизм, который может переходить между различными состояниями и выполнять циклы, позволяя модели возвращаться к предыдущим шагам и принимать решения о следующем действии на основе текущего состояния.
6. Автономный агент - полностью автономная система, где модель сама решает, какие шаги выполнять, и исполняет их без вмешательства человека. В случае с конечными автоматами все еще существуют ограничения на то, какие действия могут быть выполнены и какие потоки выполняются после выполнения этого действия. В случае с автономными агентами эти ограждения снимаются. Система сама начинает решать, какие шаги доступны для выполнения и каковы инструкции.
// Продолжение ниже ⬇️//
Интереснейшую статью про ИИ изучил от инвестиционного фонда Секвоя (один из самых крутых в мире: инвестировали на ранней стадии в Apple, Google, YouTube, WhatsApp).
Основные мысли из статьи:
1. Переход к гонке ИИ-размышлений.
Ключевая идея статьи заключается в следующем:
- Сейчас ИИ круто решает быстрые задачки, основанные на имитации закономерностей. Упрощая, вся суть моделей заключается в прогнозирование следующего токена на огромном количестве данных. Например "Какая столица Бутана", "Придумай поздравление друга с ДР". И гонка между моделями заключалась в скорости ответа, стоимости токена. Здесь ключевой фактор успеха - объем данных, который участвовал в обучении. Чем их было больше, тем больше шаблонов внутри модели, которыми она может оперировать.
- Завтра ИИ сможет круто решать задачи, требующие глубоких размышлений. Т.е. модели не будут выдавать ответ сразу, они, получив запрос, будут останавливаться и делать магию: бить задачу на кусочки, по каждому генерировать ряд сценариев ответа, самостоятельно оценивать реализацию каждого сценария, выбирать оптимальный, далее собирать все обратно в кучу, снова оценивать и по итогу возвращаться к пользователю с ответом. По сути это и есть размышление в чистом виде, как его делает человек.
Тут авторы подвешивают интересный вопрос "чем больше времени на вычисления (или «время тестирования») вы даете модели, тем лучше она рассуждает. Что произойдёт, когда модель сможет думать часами? Днями? Десятилетиями? Решим ли мы гипотезу Римана? Ответим ли мы на последний вопрос Азимова?"
2. Индивидуальные когнитивные архитектуры.
Авторы предполагают, что переход к ИИ-размышлениям приведет к появлению потребности в создании индивидуальных когнитивных архитектур (то, как думает ваша система). О чем здесь речь:
- каждая предметная область деятельности человека имеет свою уникальность. В среде разработчиков своя, в среде писателей книг своя, у врачей тоже своя. Также от страны к стране добавляется дополнительный уровень уникализации.
- большие ИИ-модели сначала научатся размышлять, а далее научатся размышлять так как принято в каждой уникальной сфере. И не факт, что этот процесс будет решен централизовано, возможно, здесь как раз появится слой компаний, которые будут создавать индивидуальные когнитивные архитектуры для своих стран и предметных областей.
2.1. Уровни автономии в ИИ-приложениях или путь к индивидуальной когнитивной архитектуре.
В тексте авторы ссылаются на источник из другой статьи. Я его тоже посмотрел, там есть интересное видение уровней автономии в ИИ-приложения (представлено на картинке 4):
1. Программный код - человек вручную пишет код и решает, как будет выглядеть выход каждого шага. Это еще не настоящая когнитивная архитектура.
2. Вызов LLM - здесь происходит небольшая предварительная обработка данных и один вызов LLM.
3. Цепочка вызовов LLM - здесь человек задает логику цепочек запросов к LLM. Например, первым запросом просим разбить задачу на подзадачи, а вторым запросом просим решить каждую по отдельности.
4. Маршрутизатор - до этого мы заранее знали все шаги, которые предпримет приложение. Теперь мы этого больше не знаем, а доверяем определять их LLM.
5. Конечный автомат - это механизм, который может переходить между различными состояниями и выполнять циклы, позволяя модели возвращаться к предыдущим шагам и принимать решения о следующем действии на основе текущего состояния.
6. Автономный агент - полностью автономная система, где модель сама решает, какие шаги выполнять, и исполняет их без вмешательства человека. В случае с конечными автоматами все еще существуют ограничения на то, какие действия могут быть выполнены и какие потоки выполняются после выполнения этого действия. В случае с автономными агентами эти ограждения снимаются. Система сама начинает решать, какие шаги доступны для выполнения и каковы инструкции.
// Продолжение ниже ⬇️//