Типы механизмов внимания
В целом механизмы внимания в компьютерном зрении можно разделить на следующие категории:
1. Поканальный механизм внимания (Channel attention - НА ЧТО обращать внимание);
2. Пространственный механизм внимания (Spatial attention - КУДА обращать внимание);
3. Временной (эволюционный) механизм внимания (Temporal Attention - КОГДА обращать внимание);
4. Блочный\веточный механизм внимания (Branch attention - ЧТО должно обратить внимание).
Также существуют архитектуры, которые являются представителями нескольких категорий механизмов внимания одновременно.
Рисунок 1 представляет диаграмму категоризации механизмов внимания в компьютерном зрении.
Формула 1 обобщает практически все существующие реализации механизмов внимания. Эту формулу стоит запомнить как для общего развития, так и для ответов на собеседованиях.
Формула 2 — известный вам из предыдущего поста self-attention .
Формула 3 — SE-блок.
В целом механизмы внимания в компьютерном зрении можно разделить на следующие категории:
1. Поканальный механизм внимания (Channel attention - НА ЧТО обращать внимание);
2. Пространственный механизм внимания (Spatial attention - КУДА обращать внимание);
3. Временной (эволюционный) механизм внимания (Temporal Attention - КОГДА обращать внимание);
4. Блочный\веточный механизм внимания (Branch attention - ЧТО должно обратить внимание).
Также существуют архитектуры, которые являются представителями нескольких категорий механизмов внимания одновременно.
Рисунок 1 представляет диаграмму категоризации механизмов внимания в компьютерном зрении.
Формула 1 обобщает практически все существующие реализации механизмов внимания. Эту формулу стоит запомнить как для общего развития, так и для ответов на собеседованиях.
Формула 2 — известный вам из предыдущего поста self-attention .
Формула 3 — SE-блок.