Рассказываем про доклады на международной конференции по машинному обучению ICML 2023 👾
В этом году от Института представлены две статьи д.ф.-м.н., профессора РАН, CEO Института AIRI, профессора Сколтеха Иван Оселедец:
🔳 Few-bit Backward
Научная группа предложила универсальный подход, который помогает уменьшить объем памяти, занимаемой нейронной сетью, оптимизировав процесс обратного распространения.
В его основе лежит идея о том, что вместо хранения полного входного тензора, нужного для расчета градиентов функций активации, можно сохранить его низкобитовое представление, которое обеспечивает их точную аппроксимацию.
Авторы показали, что для этого необходимо вычислить оптимальную кусочно-постоянную аппроксимацию для производной от функции активации. Предложенный подход совместим с любыми существующими архитектурами, а сокращение памяти при его применении подтверждается несколькими открытыми тестами.
🔳 General Covariance Data Augmentation for Neural PDE Solvers
Исследователи предложили способ повысить точность, с которой нейронные сети решают дифференциальные уравнения в частных производных. Их подход основан на общей ковариантности и простых случайных координатных преобразованиях.
Идея исследователей опирается на тот факт, что законы, которые выражают дифференциальные уравнения, не зависят от системы координат — она влияет лишь на данные. Предложенная ими аугментация повышает точность работы модели до 80 процентов для отдельных задач.
Подробнее про конференцию ICML читайте по ссылке👀
В этом году от Института представлены две статьи д.ф.-м.н., профессора РАН, CEO Института AIRI, профессора Сколтеха Иван Оселедец:
Научная группа предложила универсальный подход, который помогает уменьшить объем памяти, занимаемой нейронной сетью, оптимизировав процесс обратного распространения.
В его основе лежит идея о том, что вместо хранения полного входного тензора, нужного для расчета градиентов функций активации, можно сохранить его низкобитовое представление, которое обеспечивает их точную аппроксимацию.
Авторы показали, что для этого необходимо вычислить оптимальную кусочно-постоянную аппроксимацию для производной от функции активации. Предложенный подход совместим с любыми существующими архитектурами, а сокращение памяти при его применении подтверждается несколькими открытыми тестами.
Исследователи предложили способ повысить точность, с которой нейронные сети решают дифференциальные уравнения в частных производных. Их подход основан на общей ковариантности и простых случайных координатных преобразованиях.
Идея исследователей опирается на тот факт, что законы, которые выражают дифференциальные уравнения, не зависят от системы координат — она влияет лишь на данные. Предложенная ими аугментация повышает точность работы модели до 80 процентов для отдельных задач.
Подробнее про конференцию ICML читайте по ссылке