Anthropic показали AI-агента, который может управлять компьютером
Разработчики представили несколько обновлений для своей LLM Claude 3.5 Sonnet, например, функцию Computer Use. По сути, Computer Use — это AI-агент в формате API, который может автономно выполнять многоэтапные задачи по промпту пользователя.
В опубликованном Anthropic видео Claude самостоятельно заполняет Excel-табличку информацией, которую он нашел в релевантных источниках.
После получения задачи от пользователя Claude анализирует то, что видит перед собой пользователь на экране ПК, а затем высчитывает количество пикселей по горизонтали и вертикали, на которое ему надо передвинуть курсор, чтобы выполнить задачу.
Разработчики считают Computer Use прорывом. Они объясняют, что до сих пор нужно было создавать инструменты, которые модель сможет использовать для выполнения задач. С появлением Computer Use уже сама модель подстраивается под существующие инструменты и использует их.
Похожий функционал своих LLM уже показывали и Microsoft со своим Copilot Vision, и OpenAI в десктопном приложении ChatGPT, где LLM могла взаимодействовать с изображением на компьютерном экране. OpenAI еще в начале года анонсировала появление полноценных AI-агентов собственной разработки. В октябре компания уточнила, что их запуск состоится в 2025 году.
Пока Computer Use доступен в бета-версии и только для разработчиков. Среди компаний, которые тестируют новый функционал — GitLab, Canva и Replit.
Anthropic отмечают, что AI-агент работает вовсе не идеально и с трудом выполняет задачи, которые для пользователя будут элементарными — скроллинг, масштабирование страниц и т. д. Сейчас агент успешно справляется в лучшем случае с половиной задач.
По соображениям безопасности, Anthropic не дают Claude пользоваться соцсетями при работе в режиме Computer Use. Стартап также не использует информацию, полученную во время использования Computer Use, для обучения модели.
Помимо Computer Use, Anthropic усовершенствовали возможности Claude 3.5 по работе с программным кодом. Разработчики также выпустили новую модель Haiku, которую Anthropic называют своей самой скоростной моделью. Haiku превосходит по производительности модель Opus, которая считалась лидером до этого. При этом стоимость использования модели останется такой же.
Разработчики представили несколько обновлений для своей LLM Claude 3.5 Sonnet, например, функцию Computer Use. По сути, Computer Use — это AI-агент в формате API, который может автономно выполнять многоэтапные задачи по промпту пользователя.
В опубликованном Anthropic видео Claude самостоятельно заполняет Excel-табличку информацией, которую он нашел в релевантных источниках.
После получения задачи от пользователя Claude анализирует то, что видит перед собой пользователь на экране ПК, а затем высчитывает количество пикселей по горизонтали и вертикали, на которое ему надо передвинуть курсор, чтобы выполнить задачу.
Разработчики считают Computer Use прорывом. Они объясняют, что до сих пор нужно было создавать инструменты, которые модель сможет использовать для выполнения задач. С появлением Computer Use уже сама модель подстраивается под существующие инструменты и использует их.
Похожий функционал своих LLM уже показывали и Microsoft со своим Copilot Vision, и OpenAI в десктопном приложении ChatGPT, где LLM могла взаимодействовать с изображением на компьютерном экране. OpenAI еще в начале года анонсировала появление полноценных AI-агентов собственной разработки. В октябре компания уточнила, что их запуск состоится в 2025 году.
Пока Computer Use доступен в бета-версии и только для разработчиков. Среди компаний, которые тестируют новый функционал — GitLab, Canva и Replit.
Anthropic отмечают, что AI-агент работает вовсе не идеально и с трудом выполняет задачи, которые для пользователя будут элементарными — скроллинг, масштабирование страниц и т. д. Сейчас агент успешно справляется в лучшем случае с половиной задач.
По соображениям безопасности, Anthropic не дают Claude пользоваться соцсетями при работе в режиме Computer Use. Стартап также не использует информацию, полученную во время использования Computer Use, для обучения модели.
Помимо Computer Use, Anthropic усовершенствовали возможности Claude 3.5 по работе с программным кодом. Разработчики также выпустили новую модель Haiku, которую Anthropic называют своей самой скоростной моделью. Haiku превосходит по производительности модель Opus, которая считалась лидером до этого. При этом стоимость использования модели останется такой же.