Что такое долгосрочная память у GPT-моделей:
Для работы с большими базами данных (как, например, корпоративная вики или 100-страничные PDF-файлы) модели используют так называемые эмбеддинги или векторные представления. Эмбеддинг – это отдельный режим работы модели, когда на выходе, вместо текста, выдаётся длинный вектор, который каким-то понятным только ей образом описывает суть.
Как же создать память для модели на основе этого?
Сначала всю нашу условную вики прогоняем через этот режим и для каждого блока информации получаем такой вектор.
Следующий шаг – когда мы получаем вопрос, из него мы тоже строим такой вектор, и после ищем все "похожие" векторы из нашего вики, объединяя это всё в новый запрос к модели.
В чём возникают проблемы:
1) Модель на самом деле не знает ничего про информацию из нашего вики, а значит, сделать задачу объяснения (reasoning) фактически невозможно.
2) Разбить вики на логически верные блоки очень сложно, и часто модель просто проходит через кучу случайных текстов.
3) От того, как мы формулируем промпт к модели на этапе объединения вопроса с контекстом, во многом зависит качество результатов.
Вкратце, разница между знаниями, которые уже есть в модели, и нашей долгосрочной памятью примерно такая же, как между тем, что вы отучились на врача и тем, что вы оооочень умный и слышали про медицину пару лекций а также знаете, в каком справочнике искать по симптомам название болезни, а оттуда – метод лечения.
@aihappens
Для работы с большими базами данных (как, например, корпоративная вики или 100-страничные PDF-файлы) модели используют так называемые эмбеддинги или векторные представления. Эмбеддинг – это отдельный режим работы модели, когда на выходе, вместо текста, выдаётся длинный вектор, который каким-то понятным только ей образом описывает суть.
Как же создать память для модели на основе этого?
Сначала всю нашу условную вики прогоняем через этот режим и для каждого блока информации получаем такой вектор.
Следующий шаг – когда мы получаем вопрос, из него мы тоже строим такой вектор, и после ищем все "похожие" векторы из нашего вики, объединяя это всё в новый запрос к модели.
В чём возникают проблемы:
1) Модель на самом деле не знает ничего про информацию из нашего вики, а значит, сделать задачу объяснения (reasoning) фактически невозможно.
2) Разбить вики на логически верные блоки очень сложно, и часто модель просто проходит через кучу случайных текстов.
3) От того, как мы формулируем промпт к модели на этапе объединения вопроса с контекстом, во многом зависит качество результатов.
Вкратце, разница между знаниями, которые уже есть в модели, и нашей долгосрочной памятью примерно такая же, как между тем, что вы отучились на врача и тем, что вы оооочень умный и слышали про медицину пару лекций а также знаете, в каком справочнике искать по симптомам название болезни, а оттуда – метод лечения.
@aihappens