OpenAI работает над «водяным знаком» для сгенерированных текстов
Мне кажется, сейчас даже профессиональные журналисты и филологи с трудом отличат текст человека от творения ChatGPT, особенно если последнее хотя бы немного подредактировать. Я сама пугаюсь, насколько реалистичные и качественные ответы даёт новый чат-бот практически на любой мой вопрос.
Логично, что теперь человечество нуждается в инструменте, который эту проблему (если её можно назвать проблемой) решит. Ведь иначе нашу сферу образования будет очень лихорадочно трясти, я об этом уже писала несколько дней назад.
Разработчики ChatGPT уже поняли, какого Кракена они выпустили, да ещё и без поводка. Поэтому теперь в срочном порядке думают, как помечать сгенерированные тексты вотермарками. Вроде как, уже даже есть рабочий прототип. Инструмент будет работать с помощью криптографии.
Чат-боты понимают входной и выходной текст, как строки токенов — ими могут быть слова, части слов или знаки препинания. Если сильно упрощать, система постоянно генерирует математическую функцию (распределение вероятностей), чтобы решить, какую следующую лексему выводить. В этом выборе есть некоторая случайность, поэтому одна и та же текстовая подсказка может дать разные ответы.
Инструмент для вотермарок будет использовать криптографическую функцию, работающую на уровне сервера, для «псевдослучайного» выбора следующего токена. Поэтому текст будет казаться обычным, но если пробить его через специальный сервис, на нём обнаружится «чёрная метка».
Исследователь OpenAI Скотт Ааронсон говорит, что для определения подлинности текста должно хватить нескольких сотен токенов. Возможно, инструмент даже сможет подсказать, был ли текст полностью взят из системы генерации или только частично (и укажет сгенерированные куски).
Ждём с нетерпением. Надеюсь, эта новость вернёт школьным учителям веру в себя. Правда, им придётся осваивать новые инструменты, но от этого никто сегодня не застрахован.
Мне кажется, сейчас даже профессиональные журналисты и филологи с трудом отличат текст человека от творения ChatGPT, особенно если последнее хотя бы немного подредактировать. Я сама пугаюсь, насколько реалистичные и качественные ответы даёт новый чат-бот практически на любой мой вопрос.
Логично, что теперь человечество нуждается в инструменте, который эту проблему (если её можно назвать проблемой) решит. Ведь иначе нашу сферу образования будет очень лихорадочно трясти, я об этом уже писала несколько дней назад.
Разработчики ChatGPT уже поняли, какого Кракена они выпустили, да ещё и без поводка. Поэтому теперь в срочном порядке думают, как помечать сгенерированные тексты вотермарками. Вроде как, уже даже есть рабочий прототип. Инструмент будет работать с помощью криптографии.
Чат-боты понимают входной и выходной текст, как строки токенов — ими могут быть слова, части слов или знаки препинания. Если сильно упрощать, система постоянно генерирует математическую функцию (распределение вероятностей), чтобы решить, какую следующую лексему выводить. В этом выборе есть некоторая случайность, поэтому одна и та же текстовая подсказка может дать разные ответы.
Инструмент для вотермарок будет использовать криптографическую функцию, работающую на уровне сервера, для «псевдослучайного» выбора следующего токена. Поэтому текст будет казаться обычным, но если пробить его через специальный сервис, на нём обнаружится «чёрная метка».
Исследователь OpenAI Скотт Ааронсон говорит, что для определения подлинности текста должно хватить нескольких сотен токенов. Возможно, инструмент даже сможет подсказать, был ли текст полностью взят из системы генерации или только частично (и укажет сгенерированные куски).
Ждём с нетерпением. Надеюсь, эта новость вернёт школьным учителям веру в себя. Правда, им придётся осваивать новые инструменты, но от этого никто сегодня не застрахован.