Как студент удивил меня выводом метода на экзамене
💬 Есть один важный метод для машинного обучения — метод главных компонент. Он обязательно есть во всех курсах, но в то же время я почти ни разу не видел, чтобы благодаря применению этого метода получилось бы построить модель радикально лучше, чем без него. Было буквально несколько примеров за 15 лет, но метод все-таки очень показательный.
✍Этот метод вообще про то, как из большого количества признаков сделать меньшее количество признаков, при этом не просто отобрав, а даже повернув координаты в пространстве признаков таким образом, чтобы они стали более информативны. Классический вывод метода главных компонент, который мне, например, известен из лекций Воронцова, занимает примерно полстраницы или, может быть, страницу. Он требует умения дифференцировать по матрицам как переменным. Одно дело, когда матрица — это какие-то готовые значения. И другое — когда вы рассматриваете функцию, которая сама по себе матрица или скаляр, и зависит от матрицы. Это не что-то нереально сложное, этому достаточно легко научиться. Тут вопрос в том, как именно вы определяете эту производную по матрице. Я, например, не стесняюсь давать такого рода упражнения своим студентам на Физтехе. А в других местах уже жалею людей :)
💬 В этом году я читал лекции второкурсникам МФТИ с нашего совместного с «Яндексом» факультета - Высшей школы программной инженерии (ВШПИ). Потом они сдавали экзамен по машинному обучению, и одним из пунктов на экзамене был вопрос по выбору. Это такая давняя физтеховская традиция, берущая начало с экзаменов по физике. По ней один билет студент тянет, а один билет готовит заранее, выбирая более сложную тему, требующую предварительной подготовки. В случае с физикой можно даже взять экспериментальный вопрос, который нужно будет заранее готовить в лаборатории. На выбранную заранее тему студент должен быть в состоянии поддерживать беседу на одном уровне с преподавателем, зачастую кандидатом или доктором наук, иногда академиком. То есть, нужно разобраться в теме очень глубоко.
💬 Я попробовал такую же вещь сделать на своем курсе машинного обучения. Одной из тем на выбор для второкурсников был метод главных компонент с выводом. Были ребята, которые полностью разобрались в доказательстве из курса Воронцова. Но был и один студент, поступивший куда более изящно: он пришёл ко мне с доказательством, которое фактически заключало все основные выкладки буквально в несколько строк.
💬 Доказательство это настолько красивое, что я даже готов выложить его в канале, если этот пост наберет 100 реакций. Когда я его увидел, мне даже стало обидно, что я сам его не придумал — настолько оно было очевидно и естественно :)
💬 Есть один важный метод для машинного обучения — метод главных компонент. Он обязательно есть во всех курсах, но в то же время я почти ни разу не видел, чтобы благодаря применению этого метода получилось бы построить модель радикально лучше, чем без него. Было буквально несколько примеров за 15 лет, но метод все-таки очень показательный.
✍Этот метод вообще про то, как из большого количества признаков сделать меньшее количество признаков, при этом не просто отобрав, а даже повернув координаты в пространстве признаков таким образом, чтобы они стали более информативны. Классический вывод метода главных компонент, который мне, например, известен из лекций Воронцова, занимает примерно полстраницы или, может быть, страницу. Он требует умения дифференцировать по матрицам как переменным. Одно дело, когда матрица — это какие-то готовые значения. И другое — когда вы рассматриваете функцию, которая сама по себе матрица или скаляр, и зависит от матрицы. Это не что-то нереально сложное, этому достаточно легко научиться. Тут вопрос в том, как именно вы определяете эту производную по матрице. Я, например, не стесняюсь давать такого рода упражнения своим студентам на Физтехе. А в других местах уже жалею людей :)
💬 В этом году я читал лекции второкурсникам МФТИ с нашего совместного с «Яндексом» факультета - Высшей школы программной инженерии (ВШПИ). Потом они сдавали экзамен по машинному обучению, и одним из пунктов на экзамене был вопрос по выбору. Это такая давняя физтеховская традиция, берущая начало с экзаменов по физике. По ней один билет студент тянет, а один билет готовит заранее, выбирая более сложную тему, требующую предварительной подготовки. В случае с физикой можно даже взять экспериментальный вопрос, который нужно будет заранее готовить в лаборатории. На выбранную заранее тему студент должен быть в состоянии поддерживать беседу на одном уровне с преподавателем, зачастую кандидатом или доктором наук, иногда академиком. То есть, нужно разобраться в теме очень глубоко.
💬 Я попробовал такую же вещь сделать на своем курсе машинного обучения. Одной из тем на выбор для второкурсников был метод главных компонент с выводом. Были ребята, которые полностью разобрались в доказательстве из курса Воронцова. Но был и один студент, поступивший куда более изящно: он пришёл ко мне с доказательством, которое фактически заключало все основные выкладки буквально в несколько строк.
💬 Доказательство это настолько красивое, что я даже готов выложить его в канале, если этот пост наберет 100 реакций. Когда я его увидел, мне даже стало обидно, что я сам его не придумал — настолько оно было очевидно и естественно :)