PWN AI

Summoning RAGnarok With Your Nemesis



Такой провокационный заголовок получил пост SpecterOps с описанием функциональности LLM чат бота RAGnarok для удобного поиска по индексу данных, которые агрегирует Nemesis.



RAGnarok - это такой Судный день, если бы Терминатора🤖 снимали в Скандинавии чат бот, который использует RAG (retrieval-augmented generation) метод работы с LLM, когда пользователь пишет свой вопрос, а под капотом к этому вопросу добавляется дополнительная информация из каких‑то внешних источников и подается все целиком на вход как промт для языковой модели. Другими словами RAG должен найти соответствующую информацию в проиндексированных Nemesis данных и подать на вход LLM не только вопрос пользователя, но и релевантную запросу часть содержимого базы данных, чтобы LLM могла сформировать правильный и релевантный ответ.



RAGnarok использует openchat-3.5-0106, intel/neural-chat-7b-v3-3, Starling-LM-7b-alpha, reranker на основе BAAI/bge-reranker-base и embedding model на основе TaylorAI’s gte-tiny. Остальные подробности относительно архитектуры и выбора компонентов можно найти в блоге🤪

Простыми словами, это просто чатик в веб-интерфейсе, который поднимается локально и подключается к API Nemesis. Он с трудом работает без GPU, падает когда упирается в потолок по RAM при обработке тяжелых запросов и позволяет искать информацию по данным Nemesis через интерфейс чат бота🙈



Мое мнение после экспериментов с RAGnarok - это прикольно😁 Но практической пользы от его использования не много, за исключением формулировок для Executive Summary части отчета по проекту😎 Все тоже самое можно делать через поиск по интерфейсу Nemesis, хотя если добавить бота для Telegram, прикрутить OpenAI Whisper API для распознавания голосовых сообщений и какой-нибудь аналог GPT-4 Vision может получится такой личный "AI секретарь" Red Team оператора😂