Градиентное погружение

🧹 Автоматическая чистка данных



Cleanlab и CleanVision - это два мощных инструмента для автоматической чистки датасетов.



Cleanlab - инструмент способный находить в наборах проблемные метки используя популярные фреймворки (torch, hf, sk-learn) и такие модальности как текст, изображения, табличные данные и звук.



CleanVision - позволяет находить копии и пересветы изображений, а также другие артефакты в датасетах компьютерного зрения.



Я попробовал второй инструмент во время участия в соревновании по классификации. Пара строк кода помогла мне найти и визуализировать проблемные места за 20 минут на датасете из 80к картинок.



CleanVision

Cleanlab

Демонстрация label issue ImageNet