Этапы работы с данными: от сбора до визуализации
Какие этапы проходят при работе с данными?
Рассказываем на примере выбора фильма на вечер
Сбор данных: Получение данных из различных источников.
Источниками могут быть: таблица со всеми фильмами планеты, анкеты опроса друзей, сайты с пиратскими фильмами онлайн-кинотеатров.
Очистка данных: Удаление ошибок и пропусков для повышения качества.
Например, вы собрали таблицу, но обнаружили, что год выхода некоторых фильмов 1743, а у некоторых фильмов год не проставлен. Такие данные надо удалить или изменить.
Исследовательский анализ (EDA): Первичный анализ и выявление основных характеристик данных.
Здесь вы можете узнать сколько фильмов каждого жанра есть в вашей таблице, какая у них средняя продолжительность и рейтинг.
Преобразование данных: Нормализация и создание новых переменных.
Нормализация помогает выровнять влияние данных. Например, год выхода фильма -- четырехзначное число, а рейтинг — число от 1 до 10. Тогда год выхода и рейтинг могут внестии разный вклад в модель. Чтобы этого избежать, их нужно привести к одному "размеру", например, перевести в отрезок от -1 до 1.
Новые переменные помогают улучшить качество модели и помочь с анализом. Например, вы следите за питанием и контролируете сколько попкорна съедаете за просмотром фильма. Тогда вы можете создать новую переменную, которая зависит от длины фильма и скорость поедания попкорна.
Моделирование: Применение алгоритмов для выявления закономерностей.
В зависимости от того, что вы хотите получить, есть разные алгоритмы. Одни алгоритмы предскажут понравится вам фильм или нет, другие — какую оценку именно оценку получит фильм, а третьи порекомендуют конкретный фильм.
Оценка модели: Проверка точности и производительности модели.
Нельзя просто так взять и построить модель... не оценив ее качество. Хорошая модель должна работать быстро, чтобы вам не надо было неделю ждать какой фильм посмотреть и показывать хорошие результаты, чтобы не советовать Барби вместо Оппенгеймера (или наоборот).
Визуализация данных: Представление результатов в виде графиков и диаграмм.
Визуализация нужна, чтобы не только вы поняли, что произошло, но и заказчик. Поэтому вы можете сделать дашборд, по которому ваша бабушка поймет почему должна смотреть фильм про Бэтмена и как с этим связано количество пирожков, которые вы съедите и частота визитов к бабуле.
Принятие решений: Использование результатов для оптимизации и стратегического планирования.
Вы получили результат модели, посмотрели предсказанный ей фильм, после этого вы поняли как можно улучшить модель и составили план распространения модели своим друзьям.
🚀 Итог: Каждый этап важен для получения точных и полезных инсайтов из данных.
#DataScience #DataAnalysis #BigData #АнализДанных #ВизуализацияДанных
Какие этапы проходят при работе с данными?
Рассказываем на примере выбора фильма на вечер
Сбор данных: Получение данных из различных источников.
Источниками могут быть: таблица со всеми фильмами планеты, анкеты опроса друзей, сайты с пиратскими фильмами онлайн-кинотеатров.
Очистка данных: Удаление ошибок и пропусков для повышения качества.
Например, вы собрали таблицу, но обнаружили, что год выхода некоторых фильмов 1743, а у некоторых фильмов год не проставлен. Такие данные надо удалить или изменить.
Исследовательский анализ (EDA): Первичный анализ и выявление основных характеристик данных.
Здесь вы можете узнать сколько фильмов каждого жанра есть в вашей таблице, какая у них средняя продолжительность и рейтинг.
Преобразование данных: Нормализация и создание новых переменных.
Нормализация помогает выровнять влияние данных. Например, год выхода фильма -- четырехзначное число, а рейтинг — число от 1 до 10. Тогда год выхода и рейтинг могут внестии разный вклад в модель. Чтобы этого избежать, их нужно привести к одному "размеру", например, перевести в отрезок от -1 до 1.
Новые переменные помогают улучшить качество модели и помочь с анализом. Например, вы следите за питанием и контролируете сколько попкорна съедаете за просмотром фильма. Тогда вы можете создать новую переменную, которая зависит от длины фильма и скорость поедания попкорна.
Моделирование: Применение алгоритмов для выявления закономерностей.
В зависимости от того, что вы хотите получить, есть разные алгоритмы. Одни алгоритмы предскажут понравится вам фильм или нет, другие — какую оценку именно оценку получит фильм, а третьи порекомендуют конкретный фильм.
Оценка модели: Проверка точности и производительности модели.
Нельзя просто так взять и построить модель... не оценив ее качество. Хорошая модель должна работать быстро, чтобы вам не надо было неделю ждать какой фильм посмотреть и показывать хорошие результаты, чтобы не советовать Барби вместо Оппенгеймера (или наоборот).
Визуализация данных: Представление результатов в виде графиков и диаграмм.
Визуализация нужна, чтобы не только вы поняли, что произошло, но и заказчик. Поэтому вы можете сделать дашборд, по которому ваша бабушка поймет почему должна смотреть фильм про Бэтмена и как с этим связано количество пирожков, которые вы съедите и частота визитов к бабуле.
Принятие решений: Использование результатов для оптимизации и стратегического планирования.
Вы получили результат модели, посмотрели предсказанный ей фильм, после этого вы поняли как можно улучшить модель и составили план распространения модели своим друзьям.
🚀 Итог: Каждый этап важен для получения точных и полезных инсайтов из данных.
#DataScience #DataAnalysis #BigData #АнализДанных #ВизуализацияДанных