Как я историю чата обрабатывал с помощью GPT моделей с шокирующим результатом! (детям не смотреть).
Дано:
Чат, где сейлз команда задает вопросы тех команды.
Total Messages: 3848
Total Characters: 417353
Русский язык.
Хотим получить FAQ - самые частые вопросы и ответы, чтобы добавить их в документацию.
Число токенов в начальном запросе около 450к, в общедоступные модели нормально не впихуивается. Что делаем?
шаг 1 - вычищаем json выгрузку из тг от всего кроме Отправитель:Сообщение и конвертим данные в txt формат с помощью GPT4.
шаг 2 - открываем google translate и пихаем туда файл для автоперевода
на этом этапе вместо 450к токенов получаем около 100к токенов, значит уже влезают в большинство моделей.
шаг 3 - берем в Poe Claude 200k и пихаем туда файл с задачей собрать FAQ на основе переписки.
шаг 4 - радуемся!
ни-хе-ра....Opus обрабатывает данный супер криво. Очевидно, что проблема неравномерного внимания к началу\концу относительно середины встала во весь рост. Ну ладно, у нас же Poe в руках, давай пихнем этот же запрос в Gpt4-128k. ВУАЛЯ!
СНОВА ВСЕ ПЛОХО!
шаг 5 - удаляем все GPT модели, нанимаем аналитика, пусть руками разбирает все.
ладно, случайно по рекомендации Poe жмем кнопку повторить запрос в Gemini-1.5-Pro-128k, модель от Google в которую веры 0. И бинго! Она делает классную структуру, читает явно все, и сама даже делает красивую разметку ответа на FAQ. А мы в них не верили.
@aihappens
Дано:
Чат, где сейлз команда задает вопросы тех команды.
Total Messages: 3848
Total Characters: 417353
Русский язык.
Хотим получить FAQ - самые частые вопросы и ответы, чтобы добавить их в документацию.
Число токенов в начальном запросе около 450к, в общедоступные модели нормально не впихуивается. Что делаем?
шаг 1 - вычищаем json выгрузку из тг от всего кроме Отправитель:Сообщение и конвертим данные в txt формат с помощью GPT4.
шаг 2 - открываем google translate и пихаем туда файл для автоперевода
на этом этапе вместо 450к токенов получаем около 100к токенов, значит уже влезают в большинство моделей.
шаг 3 - берем в Poe Claude 200k и пихаем туда файл с задачей собрать FAQ на основе переписки.
шаг 4 - радуемся!
ни-хе-ра....Opus обрабатывает данный супер криво. Очевидно, что проблема неравномерного внимания к началу\концу относительно середины встала во весь рост. Ну ладно, у нас же Poe в руках, давай пихнем этот же запрос в Gpt4-128k. ВУАЛЯ!
СНОВА ВСЕ ПЛОХО!
ладно, случайно по рекомендации Poe жмем кнопку повторить запрос в Gemini-1.5-Pro-128k, модель от Google в которую веры 0. И бинго! Она делает классную структуру, читает явно все, и сама даже делает красивую разметку ответа на FAQ. А мы в них не верили.
@aihappens