Что такое точность в диагностике и почему сама по себе она бессмысленна (продолжение)
Итак, я вчера писала про нейросеть, которая диагностирует заболевания у москвичей. На портале mos.ru из характеристик диагностики назвали только точность 👀
Когда мы говорим о каком-то «черном ящике», которому мы даём на вход какую-то информацию и получаем ответ «да» или «нет» сама по себе точность бессмысленна без характеристик «чувствительность» и «специфичность».
Это не зависит от того, какая механика внутри этого «чёрного ящика», будь то полимеразная цепная реакция теста на «ковид» или же алгоритм с глубоким обучением — главное, что это какой-то классификатор. Разберём подробнее.
☝️Чувствительность (sensitivity) — это то, насколько хорошо наш «ящик» распознаёт больных. То есть если человек болен, то он всегда будет распознан. Это доля предсказанных больных от числа реально больных.
☝️Специфичность (specificity) — это то, насколько тест ошибается на небольных. То есть представьте себе ситуацию, что тест просто всегда говорит «да» — это значит, что чувствительность у него будет 1 (он и правда предскажет всех больных), но вот для небольных даст огромное количество ошибок. Таким образом, специфичность — это то, сколько из реально небольных тест определит как реально небольных. Тоже в идеале 1.
В итоге разработчики любых диагностических механизмов обычно оптимизируют оба значения — и чувствительность, и специфичность. И это главные параметры 🫣
Что же касается точности (accuracy) — то это просто результат деления всех правильных диагнозов на все диагнозы. Это плохая характеристика, потому что она зависит от того, сколько у нас больных и небольных.
Представьте себе тест, который всегда говорит «нет». И тогда если у вас миллион здоровых и тысяча больных, то такой тест будет иметь точность 99,9%. Неплохо, не так ли? Поэтому без данных о чувствительности и специфичности — никуда. И это относится к любому тесту 🤔
Итак, я вчера писала про нейросеть, которая диагностирует заболевания у москвичей. На портале mos.ru из характеристик диагностики назвали только точность 👀
Когда мы говорим о каком-то «черном ящике», которому мы даём на вход какую-то информацию и получаем ответ «да» или «нет» сама по себе точность бессмысленна без характеристик «чувствительность» и «специфичность».
Это не зависит от того, какая механика внутри этого «чёрного ящика», будь то полимеразная цепная реакция теста на «ковид» или же алгоритм с глубоким обучением — главное, что это какой-то классификатор. Разберём подробнее.
☝️Чувствительность (sensitivity) — это то, насколько хорошо наш «ящик» распознаёт больных. То есть если человек болен, то он всегда будет распознан. Это доля предсказанных больных от числа реально больных.
☝️Специфичность (specificity) — это то, насколько тест ошибается на небольных. То есть представьте себе ситуацию, что тест просто всегда говорит «да» — это значит, что чувствительность у него будет 1 (он и правда предскажет всех больных), но вот для небольных даст огромное количество ошибок. Таким образом, специфичность — это то, сколько из реально небольных тест определит как реально небольных. Тоже в идеале 1.
В итоге разработчики любых диагностических механизмов обычно оптимизируют оба значения — и чувствительность, и специфичность. И это главные параметры 🫣
Что же касается точности (accuracy) — то это просто результат деления всех правильных диагнозов на все диагнозы. Это плохая характеристика, потому что она зависит от того, сколько у нас больных и небольных.
Представьте себе тест, который всегда говорит «нет». И тогда если у вас миллион здоровых и тысяча больных, то такой тест будет иметь точность 99,9%. Неплохо, не так ли? Поэтому без данных о чувствительности и специфичности — никуда. И это относится к любому тесту 🤔