Прочитал небольшой обзор о том что что ожидает геометрическое и графовое машинное обучение в 2022 году
What does 2022 hold for Geometric & Graph ML?
Делают следующие предсказания/выводы (привел не все)
1. Геометрия начинает игратт все более важную роль в машинном обучении (Хотя я это увидел в применении к Графовым Сетям(GNN) и как-то меня не удивило что в них важна геометрия)
2. Message passing все еще играет главную роль в GNN, вроде как думали что уже все - дальше выжимать нечего, однако нет, - придумали новые трюки. Впрочем и MLP воскрес недавно, так что тоже не удивительно.
3. Дифференциальные уравнения вдохновили новые архитектуры GNN. Вышел ряд работ, в которых было показано как представить GNN в виде дискретизации непрерывных дифференциальных уравнений
4. Старые идеи из обработки сигналов и физики получили новую жизнь. Впрочем весь deep learning - это по факту representational learning
5. Моделирование сложных систем выходит за пределы графов. Верхнеуровнево конечно можно описывать и графом, но системы с динамически меняющимися связями требуют чего то посложнее, новые работы посвящены тому как применять GNN там, где обычно работала алгебраическая топология. В прочем смотри пункт 3
6. Графы набирают популярность в reinforcement learning. В RL полно графов - либо в структуре RL агента, либо в представлении окружения
7. AlphaFold 2 - триумф Геометрического Машинного Обучения - показала биологам что машинное обучение вам не шутки
8. Исследования и разработка новых лекарств - стали впиливать трансформеры есть надежда что здесь может быть прорыв
Для интересующихся - советую ознакомиться
What does 2022 hold for Geometric & Graph ML?
Делают следующие предсказания/выводы (привел не все)
1. Геометрия начинает игратт все более важную роль в машинном обучении (Хотя я это увидел в применении к Графовым Сетям(GNN) и как-то меня не удивило что в них важна геометрия)
2. Message passing все еще играет главную роль в GNN, вроде как думали что уже все - дальше выжимать нечего, однако нет, - придумали новые трюки. Впрочем и MLP воскрес недавно, так что тоже не удивительно.
3. Дифференциальные уравнения вдохновили новые архитектуры GNN. Вышел ряд работ, в которых было показано как представить GNN в виде дискретизации непрерывных дифференциальных уравнений
4. Старые идеи из обработки сигналов и физики получили новую жизнь. Впрочем весь deep learning - это по факту representational learning
5. Моделирование сложных систем выходит за пределы графов. Верхнеуровнево конечно можно описывать и графом, но системы с динамически меняющимися связями требуют чего то посложнее, новые работы посвящены тому как применять GNN там, где обычно работала алгебраическая топология. В прочем смотри пункт 3
6. Графы набирают популярность в reinforcement learning. В RL полно графов - либо в структуре RL агента, либо в представлении окружения
7. AlphaFold 2 - триумф Геометрического Машинного Обучения - показала биологам что машинное обучение вам не шутки
8. Исследования и разработка новых лекарств - стали впиливать трансформеры есть надежда что здесь может быть прорыв
Для интересующихся - советую ознакомиться