А к чему это я вообще. Тут Google Brain выпустили SimCLRv2 (над названием еще можно поработать), не совсем новую сеть, но скорее алгоритм тренировки который позволяет достичь новых высот в self-supervised learning и который даже превосходит supervised алгоритмы используя только малый процент размеченных данных. Работает это через огромный feature extractor, файнтюнинг извлеченных признаков, и дистилляцию знаний в конце (одним словом — сложно). И в итоге бьет resnet-50 на ImageNet используя только 10% тренировочного сета. А точности около 70% достигает используя всего 1% данных (один, Карл).