PartImageNet — датасет с разметкой частей объектов
Смотрите, тут на основе ImageNet собрали новый датасет, в котором разметили отдельно части разных объектов: лапы/хвост/тело/голову животных, кузов/колеса автомобиля и т.п. В датасете 24k изображений из 158 классов орининального ImageNet'а
Авторы считают, что обучение на таком датасете поможет внедрить в модели ML больше понимания природы объектов и взаимодействия их частей. А это, как следствие, поможет моделям лучше переносить знания из домена в домен (domain adaptation) и улучшит обучение моделей на малом количестве данных (few-shot learning) Также это может улучшить качество сегментации и детекции (например, в случае, когда нужно детектировать объект, когда видна только его малая часть).
Звучит хорошо, но есть два нюанса:
- такие датасеты практически никто не создает из-за того, что это очень сложно: нужно тратить много времени на разметку каждого изображения. будем надеяться, эта работа и результаты сетей, обученных на PartImageNet, подгонит других исследователей создавать похожие датасеты. На одном таком датасете мы прорывов не дождемся.
- идейно почти каждый объект пожно разделить на части разными способами. На картинке видно, что авторы PartImageNet поделили автомобиль на две части: колеса и кузов. Но можно ведь поделить и по-другому: выделить капот, двери и т.п. Конечно, любое деление уже должно как-то помочь моделям ML лучше обучаться, но интересно, как разные деления повлияют на результаты моделей.
Ссылки:
Статья
Датасет
Смотрите, тут на основе ImageNet собрали новый датасет, в котором разметили отдельно части разных объектов: лапы/хвост/тело/голову животных, кузов/колеса автомобиля и т.п. В датасете 24k изображений из 158 классов орининального ImageNet'а
Авторы считают, что обучение на таком датасете поможет внедрить в модели ML больше понимания природы объектов и взаимодействия их частей. А это, как следствие, поможет моделям лучше переносить знания из домена в домен (domain adaptation) и улучшит обучение моделей на малом количестве данных (few-shot learning) Также это может улучшить качество сегментации и детекции (например, в случае, когда нужно детектировать объект, когда видна только его малая часть).
Звучит хорошо, но есть два нюанса:
- такие датасеты практически никто не создает из-за того, что это очень сложно: нужно тратить много времени на разметку каждого изображения. будем надеяться, эта работа и результаты сетей, обученных на PartImageNet, подгонит других исследователей создавать похожие датасеты. На одном таком датасете мы прорывов не дождемся.
- идейно почти каждый объект пожно разделить на части разными способами. На картинке видно, что авторы PartImageNet поделили автомобиль на две части: колеса и кузов. Но можно ведь поделить и по-другому: выделить капот, двери и т.п. Конечно, любое деление уже должно как-то помочь моделям ML лучше обучаться, но интересно, как разные деления повлияют на результаты моделей.
Ссылки:
Статья
Датасет