Machine learning Interview

📌 Тестовое задание



Задача

Требуется: предложить модель, сегментирующую окурок сигареты на фотографии.



Вход: фотография 512x512x3.

Выход: маска окурка сигареты 512x512.

Метрика: Dice coefficient.



Данные

Ссылка на скачивание данных: link.



Данные представляют из себя набор синтетически сгенерированных фотографий окурков сигарет и маски, определяющей их на фотографии, а также координаты ограничивающего их бокса.



Доступные данные разделены на несколько папок:



- real_test содержит фотографии 512x512x3;

- train/images содержит фотографии 512x512x3;

- train/coco_annotations.json содержит аннотации в формате COCO;

- val/images содержит фотографии 512x512x3;

- val/coco_annotations.json содержит аннотации в формате COCO.



Результаты

Для лучшей модели требуется создать 2 файла, которые необходимы для валидации Вашего решения:



- сохраненные маски для картинок из valid в формате pred_valid_template.csv (в архиве с data) и залить его с тем же именем (см. notebooks/GettingStarted.ipynb);

- html страницу с предсказанием модели для всех картинок из real_test и папку с используемыми картинками в этой html странице для её просмотра. Создать zip файл c html и изображениями и залить его в папку results.



Также необходимо:



- подготовить код (сам репозиторий) для проверки (докстринги, PEP8);

- создать отчет (можно прямо в ноутбуке) с описанием Вашего исследования, предобработки, постобработки, проверямых гипотез, используемых моделей, описание лучшего подхода и т.п. (он должен лежать в папке notebooks);



Рекомендуемый pipeline решения:

Предполагается следующий pipeline решения поставленной задачи:



- fork данного репозитория;

- ознакомиться с критериями;

- скачать данные;

ознакомиться с notebooks/GettingStarted.ipynb;

ознакомиться с данными, разобраться с их форматом;

ознакомиться с базовой статьей;

- провести анализ данных;

- написать методы аугментации данных;

- реализовать нейросеть/нейросети (необязательно с нуля);

- провалидировать модели;

- выбрать лучшую модель на val и посчитать для нее метрики;

- получить результаты на реальных изображениях real_test и сохранить их;

проанализировать результаты, сформулировать проблемы модели.

Критерии

При оценке решения этой задачи акцент будет делаться на (в порядке приоритета):



1. Качество исследования в jupyter notebook и чистота кода. В этот критерий входит читаемость и адекватность кода, содержательность комментариев, правильное оформление графиков (если таковые будут), отсутствие смысловых ошибок в коде. Наличие docstrings к написаным функциям приветствуется. Также будет оцениваться демонстрация предпринятых шагов и структурирование кода (разные по смыслу куски кода разделены по пакетам).



2. Анализ данных и подходы к аугментации. Оригинальность, эффективность и количество идей. Использование неочевидных шагов в решении, которые улучшают качество, будет хорошим плюсом. Наличие нескольких подходов также будет ценится выше, чем один подход.



3. Значение метрик на контрольной выборке и общая адекватность модели.

4. Обоснование выбора моделей (процесс выбора моделей).

5.Анализ результатов итоговой модели.



@machinelearning_interview