Арифметическая задачка про ML-метрики классификатора OpenAI
#ml
Приветствую! Любителям ML-гномиков в пятницу вечерком, такая жизненная задачка (столкнулся с ней, пока писал пост, который появится следом). Идеально для собеса. Упс, уже нет, поскольку есть этот пост.
Относительно новый детектор chatGPT-генерированного контента от OpenAI репортит, что 26% AI-генерированного текста правильно распознаются (что за метрика?), а также в 9% случаев текст, написанный человеком, неправильно маркируется как AI-генерированный (а это что за метрика?). Какова точность (precision) детектора? Важное уточнение найдете в model card этого детектора, которая сама по себе интересна, рекомендую.
Можно уютно сесть и пописать формулки, как на уроке алгебры в 7-ом классе школы. Если я не накосячил, вот что у меня получилось:precision = 74.3% (с первого раза принципал не осилил). Существенно выше, чем полнота, поскольку классификатор именно так откалиброван, см. ту же model card .
#ml
Приветствую! Любителям ML-гномиков в пятницу вечерком, такая жизненная задачка (столкнулся с ней, пока писал пост, который появится следом). Идеально для собеса. Упс, уже нет, поскольку есть этот пост.
Относительно новый детектор chatGPT-генерированного контента от OpenAI репортит, что 26% AI-генерированного текста правильно распознаются (что за метрика?), а также в 9% случаев текст, написанный человеком, неправильно маркируется как AI-генерированный (а это что за метрика?). Какова точность (precision) детектора? Важное уточнение найдете в model card этого детектора, которая сама по себе интересна, рекомендую.
Можно уютно сесть и пописать формулки, как на уроке алгебры в 7-ом классе школы. Если я не накосячил, вот что у меня получилось: