Обманывая undetectable.ai, обманывающий детекторы chatGPT
#ml #chatgpt #fake_text_detection
Продолжаем эту нескучную тему, находим новые приколы. Есть такая тулза undetectable.ai, которая, во-первых, прогоняет кучу детекторов (OpenAI classifier, GPTzero, ZeroGPT, Copyleaks и иже с ними), а во-вторых, обещает переписать твой текст так, что он становится более “человеческим” и обходит детекторы. Есть даже КРИЭЙТЕРЫ, считающие, что это этически норм, брать и описывать в деталях, как обойти любые детекторы (преподы аплодируют стоя). Все подробности, что нашел: модель обучена на миллионах текстах и понимает нюансы текстов, написанных людьми (hackernoon). У меня есть вопросы уже на этапе отрисовки зеленых галочек напротив каждого детектора, я вот не у все из них нашел API и даже если взать один только OpenAI классификатор – он работает с текстами длиннее 1000 знаков, а вот undetectable.ai показывает ответ этого классификатора и на коротких текстах. Прям чудеса next.js, не иначе. Понятно, почему спрос на фронтендеров не меньше, чем на млщиков.
Ладно, потестим. Не претендую на репрезентативность, поделюсь одним примером (иначе говоря, мы проводим Качественное Исследование).
Возьмем первый абзац статьи на Вики про квантовый компьютер. Вот две вариации этого абзаца:
1. A quantum computer is a type of computer that utilizes the principles of quantum mechanics. At the microscopic level, matter behaves as both particles and waves, and quantum computing takes advantage of this peculiar behavior through specialized hardware. The functioning of these quantum devices cannot be explained by classical physics, and if a quantum computer can be developed on a large scale, it has the potential to perform certain calculations significantly faster than any current "classical" computer.
2. A quantum computer is a remarkable type of computer that taps into the fascinating world of quantum mechanics. When we zoom in to the tiniest scales, the stuff that makes up our physical reality behaves in ways that are both particle-like and wave-like. Quantum computing takes advantage of this mind-boggling behavior by using special hardware. Interestingly, classical physics, the kind we're familiar with, falls short in explaining how these quantum devices actually work. If we manage to create a quantum computer that can be scaled up effectively, it could potentially outpace any of our current "classical" computers in solving certain problems, performing calculations at an exponentially faster rate.
Сможете угадать, где сгенерированный текст, а где человеческий?
Ответ:оба написаны chatGPT, промпт для первого: “Can you paraphrase this text: <wiki_text_on_QC>”. Промпт для второго: ”Can you paraphrase it so that it looks human-written?”
Что скажет undetectable.ai? Исходный текст на Вики – все детекторы зеленые. Перефразировали с chatGPT – все детекторы красные. Пока круто (если не считать, что OpenAI не дает ответа для коротких текстов, но простим такой косяк). Теперь второй абзац, который написан chatGPT с промптом, просящим сделать текст более похожим на человеческий. Оп! Снова все детекторы зеленые.
The arms race goes on!
#ml #chatgpt #fake_text_detection
Продолжаем эту нескучную тему, находим новые приколы. Есть такая тулза undetectable.ai, которая, во-первых, прогоняет кучу детекторов (OpenAI classifier, GPTzero, ZeroGPT, Copyleaks и иже с ними), а во-вторых, обещает переписать твой текст так, что он становится более “человеческим” и обходит детекторы. Есть даже КРИЭЙТЕРЫ, считающие, что это этически норм, брать и описывать в деталях, как обойти любые детекторы (преподы аплодируют стоя). Все подробности, что нашел: модель обучена на миллионах текстах и понимает нюансы текстов, написанных людьми (hackernoon). У меня есть вопросы уже на этапе отрисовки зеленых галочек напротив каждого детектора, я вот не у все из них нашел API и даже если взать один только OpenAI классификатор – он работает с текстами длиннее 1000 знаков, а вот undetectable.ai показывает ответ этого классификатора и на коротких текстах. Прям чудеса next.js, не иначе. Понятно, почему спрос на фронтендеров не меньше, чем на млщиков.
Ладно, потестим. Не претендую на репрезентативность, поделюсь одним примером (иначе говоря, мы проводим Качественное Исследование).
Возьмем первый абзац статьи на Вики про квантовый компьютер. Вот две вариации этого абзаца:
1. A quantum computer is a type of computer that utilizes the principles of quantum mechanics. At the microscopic level, matter behaves as both particles and waves, and quantum computing takes advantage of this peculiar behavior through specialized hardware. The functioning of these quantum devices cannot be explained by classical physics, and if a quantum computer can be developed on a large scale, it has the potential to perform certain calculations significantly faster than any current "classical" computer.
2. A quantum computer is a remarkable type of computer that taps into the fascinating world of quantum mechanics. When we zoom in to the tiniest scales, the stuff that makes up our physical reality behaves in ways that are both particle-like and wave-like. Quantum computing takes advantage of this mind-boggling behavior by using special hardware. Interestingly, classical physics, the kind we're familiar with, falls short in explaining how these quantum devices actually work. If we manage to create a quantum computer that can be scaled up effectively, it could potentially outpace any of our current "classical" computers in solving certain problems, performing calculations at an exponentially faster rate.
Сможете угадать, где сгенерированный текст, а где человеческий?
Ответ:
Что скажет undetectable.ai? Исходный текст на Вики – все детекторы зеленые. Перефразировали с chatGPT – все детекторы красные. Пока круто (если не считать, что OpenAI не дает ответа для коротких текстов, но простим такой косяк). Теперь второй абзац, который написан chatGPT с промптом, просящим сделать текст более похожим на человеческий. Оп! Снова все детекторы зеленые.
The arms race goes on!