«Covid-19 можно определить с 97% уверенностью по рентгену легких!»



Это громкое заявление не так давно разошлось по гитхабу в виде популярного репозитория от какого-то чувака, который утверждал, что сделал прорыв в области обнаружения вируса, ну и как обычно оказалось, что это очередное «Змеиное масло» из мира AI.



Не буду вдаваться в глубокие технические детали того, почему заявление в репозитарии бред, о них можно почитать детально тут, отмечу лишь пару моментов.



За одну неделю:

Чувак выложил модель «детекта вируса» на рентгене;

Репозиторий перевели на 8 языков;

Чувак анонсировал разработку WEB-версии и мобильного приложения;

Написал много всего о том, как можно стать спонсором проекта и куда слать деньги и тп.



Что внутри этой нейронки:

Нейронная сеть натренирована на... 50 ФОТОГРАФИЯХ. Для тех кто не знает, это примерно на ~79 950 меньше фотографий, чем нужно чтобы начать хоть что-то реалистично узнавать;



Сама нейронка, при этом, базируется на ResNet-50, это популярное решение для детекта различных объектов из реального мира, то есть в скрытых «слоях» этой неройнки находятся обычные геометрические формы и предметы которые сложно встретить в легких, вроде дорожных знаков и вывесок 🌚 То есть он не тренировал что-то с нуля, он «дотренировал» нейронку обученную на предметах. В медицине никто так почти не делают – все нейронки там важно тренировать с нуля (конечно есть исключения).



Ну и самое прикольное: чтобы проверить насколько хорошо твоя нейронка научилась детектить что-то, ты обычно кладешь в папочку набор файлов, на которых можно потестировать как хорошо она определяет объекты. Недопустимо при этом, чтобы эти же файлы находились в папке где идет тренировка нейронки — алгоритм конечно легко узнает то, на чем учился и подгонит все результаты. Так вот, чувак получил 97% точности просто потому что тестил на том, на чем тренировал алгоритм

w(゚Д゚)w



Когда прошел туториал по PyTorch, а все оказалось сложнее.



P.S. Примеров успешных применений ML в медицине – масса, но каждое решение которое выкатывается на публику должно быть проверено сообществом, спасибо reddit в этом примере, что остановили это в зачатке и никто не пострадал.