MemGPT — революционное будущее чат-ботов?
По данным Bloomberg Intelligence, объём рынка генеративного ИИ в 2023 году — $67 млрд. В 2032 году ожидается его рост до $1,3 трлн (да, в 32 раза!). А всё почему? Потому что бизнес по всему миру начнёт внедрять такие технологии. Вот как это будет.
Сегодня: пользователь покупает что-то онлайн, а потом задаёт боту вопрос о товаре (например, об уходе за ним). Бот собирает информацию, чтобы идентифицировать пользователя и ответить на обращение.
Завтра: пользователь совершает онлайн-покупку и задаёт боту вопрос. Бот сразу распознаёт его и знает всё о купленном товаре и истории взаимодействия с клиентом (даже о том, какой длины ответы на обращения он предпочитает).
Эти и другие возможности даёт бизнесу новая MemGPT (Memory GPT). Она решает ключевую проблему языковых моделей — маленькое контекстное окно — и обеспечивает потенциально бесконечное хранение контекста взаимодействия с пользователем.
Существующих моделей с большим контекстным окном ChatGPT 4 (32 тыс. токенов = 22,5 тыс. русских слов) и Claude 2 (100 тыс. токенов = 70 тыс. слов) достаточно, чтобы получить развёрнутый ответ.
Но их не хватит, чтобы сохранить реальный объём данных, нужный для бизнеса. Например, сделать поиск по базе или запомнить документацию из confluence.
Проблему можно решить двумя путями.
1) Fine-tune модели
Достаточно дорогой сценарий, где нужно разметить и проверить входные данные. Результат при этом будет непредсказуем, т. к. модель всего лишь пытается продолжить токены по принципу подсказок на клавиатуре смартфона.
2) Обогащение базы знаний модели с помощью векторного хранилища
Здесь на сцену и выходит MemGPT.
Напомню, что каждый запрос и ответ языковых моделей можно представить в виде векторов (Embeddings). Они помогают выделить модели семантических и синтаксических значений входных и выходных текстов. Говоря простым языком, их числовые значения.
Числовые значения сравнивать проще, чем текстовые. Неудивительно, что фразы «здравствуй» и «привет» значительно ближе в числовом представлении, чем в текстовом: обе являются приветствием и используются в схожем контексте.
MemGPT, используя векторное хранилище, осуществляет поиск релевантной информации в векторном виде. Запросы пользователя векторизируются и, при нахождении релеватной информации, возвращается суммаризированный ответ, который использует контекст входящего сообщения и найденного документа.
Таким образом бизнес может загружать знания любой длины в векторное хранилище, а MemGPT позволяет удобно обогащать уже существующие знания определённым бизнес-контекстном.
Но не всё так гладко: нужны большие вычислительные мощности и качественные модели обучения, при этом пока нет гарантий конфиденциальности данных, а реакции не всегда соответствуют контексту.
Технологию можно использовать для создания более умных чат-ботов. При обслуживании клиентов они смогут лучше обрабатывать сложные взаимодействия и дольше сохранять контекст.
А в далёкой перспективе — для более чутких и максимально персонализированных ИИ-ассистентов.
В МТС это также может быть создание контента на основе заданных пользователем рекомендаций, например, в «Строках». Или анализ пользовательского опыта на основе отзывов — возможности ИИ почти безграничны.
По данным Bloomberg Intelligence, объём рынка генеративного ИИ в 2023 году — $67 млрд. В 2032 году ожидается его рост до $1,3 трлн (да, в 32 раза!). А всё почему? Потому что бизнес по всему миру начнёт внедрять такие технологии. Вот как это будет.
Сегодня: пользователь покупает что-то онлайн, а потом задаёт боту вопрос о товаре (например, об уходе за ним). Бот собирает информацию, чтобы идентифицировать пользователя и ответить на обращение.
Завтра: пользователь совершает онлайн-покупку и задаёт боту вопрос. Бот сразу распознаёт его и знает всё о купленном товаре и истории взаимодействия с клиентом (даже о том, какой длины ответы на обращения он предпочитает).
Эти и другие возможности даёт бизнесу новая MemGPT (Memory GPT). Она решает ключевую проблему языковых моделей — маленькое контекстное окно — и обеспечивает потенциально бесконечное хранение контекста взаимодействия с пользователем.
Существующих моделей с большим контекстным окном ChatGPT 4 (32 тыс. токенов = 22,5 тыс. русских слов) и Claude 2 (100 тыс. токенов = 70 тыс. слов) достаточно, чтобы получить развёрнутый ответ.
Но их не хватит, чтобы сохранить реальный объём данных, нужный для бизнеса. Например, сделать поиск по базе или запомнить документацию из confluence.
Проблему можно решить двумя путями.
1) Fine-tune модели
Достаточно дорогой сценарий, где нужно разметить и проверить входные данные. Результат при этом будет непредсказуем, т. к. модель всего лишь пытается продолжить токены по принципу подсказок на клавиатуре смартфона.
2) Обогащение базы знаний модели с помощью векторного хранилища
Здесь на сцену и выходит MemGPT.
Напомню, что каждый запрос и ответ языковых моделей можно представить в виде векторов (Embeddings). Они помогают выделить модели семантических и синтаксических значений входных и выходных текстов. Говоря простым языком, их числовые значения.
Числовые значения сравнивать проще, чем текстовые. Неудивительно, что фразы «здравствуй» и «привет» значительно ближе в числовом представлении, чем в текстовом: обе являются приветствием и используются в схожем контексте.
MemGPT, используя векторное хранилище, осуществляет поиск релевантной информации в векторном виде. Запросы пользователя векторизируются и, при нахождении релеватной информации, возвращается суммаризированный ответ, который использует контекст входящего сообщения и найденного документа.
Таким образом бизнес может загружать знания любой длины в векторное хранилище, а MemGPT позволяет удобно обогащать уже существующие знания определённым бизнес-контекстном.
Но не всё так гладко: нужны большие вычислительные мощности и качественные модели обучения, при этом пока нет гарантий конфиденциальности данных, а реакции не всегда соответствуют контексту.
Технологию можно использовать для создания более умных чат-ботов. При обслуживании клиентов они смогут лучше обрабатывать сложные взаимодействия и дольше сохранять контекст.
А в далёкой перспективе — для более чутких и максимально персонализированных ИИ-ассистентов.
В МТС это также может быть создание контента на основе заданных пользователем рекомендаций, например, в «Строках». Или анализ пользовательского опыта на основе отзывов — возможности ИИ почти безграничны.