Via @Nick Mikhailovsky
Профессор физики Университета Миннесоты Виталий Ванчурин написал статью «Towards a theory of machine learning» (https://arxiv.org/pdf/2004.09280.pdf), стараясь построить теорию обучения нейронных сетей, и вывел для них законы термодинамического типа: второй, невозрастания энтропии при обучении, первый, о пропорциональности изменения функции потерь сумме энтропии и сложности, и еще один, о минимальном уничтожении энтропии на оптимальном пути обучения, который мне кажется эквивалентным бритве Оккама.
Но его работа интересна не только этим:
1. Там введено обобщение нейронных сетей, которое слои преобразует в итерации, и за счет этого нейронная сеть может быстро получить первый, возможно неточный результат, а потом подумать еще и уточнить решение/передумать
2. Там предложен класс способов unsupervised обучения, основанный на оптимизации функции потерь на внутренних слоях (что перекликается с модными в этом году идеями типа локально контрастивного обучения https://arxiv.org/pdf/2008.01342.pdf)
3. Показана малоранговость одного из операторов, связанных с матрицами нейронных сетей, что может повысить эффективность сжатия сетей
и прочая, прочая, прочая, заканчивая физическим панпсихизмом of sorts :)
В общем, на мой взгляд, одна из наиболее интересных работ этого года.
И вот в следующий вторник в 16 по Москве Виталий будет выступать на научно-техническом вебинаре НТР и HITS ТГУ, рассказывая эту работу. Присоединяйтесь: https://us02web.zoom.us/s/85978528892?pwd=WjNVVExWem1ZaFpRSmxkTlc1UC9lZz09
Думаю, будет интересно даже классикам типа Alex Gor
Профессор физики Университета Миннесоты Виталий Ванчурин написал статью «Towards a theory of machine learning» (https://arxiv.org/pdf/2004.09280.pdf), стараясь построить теорию обучения нейронных сетей, и вывел для них законы термодинамического типа: второй, невозрастания энтропии при обучении, первый, о пропорциональности изменения функции потерь сумме энтропии и сложности, и еще один, о минимальном уничтожении энтропии на оптимальном пути обучения, который мне кажется эквивалентным бритве Оккама.
Но его работа интересна не только этим:
1. Там введено обобщение нейронных сетей, которое слои преобразует в итерации, и за счет этого нейронная сеть может быстро получить первый, возможно неточный результат, а потом подумать еще и уточнить решение/передумать
2. Там предложен класс способов unsupervised обучения, основанный на оптимизации функции потерь на внутренних слоях (что перекликается с модными в этом году идеями типа локально контрастивного обучения https://arxiv.org/pdf/2008.01342.pdf)
3. Показана малоранговость одного из операторов, связанных с матрицами нейронных сетей, что может повысить эффективность сжатия сетей
и прочая, прочая, прочая, заканчивая физическим панпсихизмом of sorts :)
В общем, на мой взгляд, одна из наиболее интересных работ этого года.
И вот в следующий вторник в 16 по Москве Виталий будет выступать на научно-техническом вебинаре НТР и HITS ТГУ, рассказывая эту работу. Присоединяйтесь: https://us02web.zoom.us/s/85978528892?pwd=WjNVVExWem1ZaFpRSmxkTlc1UC9lZz09
Думаю, будет интересно даже классикам типа Alex Gor