Многомерное прогнозирование временных рядов имеет ключевое значение в различных отраслях, таких как финансы и здравоохранение. Для долгосрочного прогнозирования необходимо использовать модели, которые могут эффективно улавливать корреляции и зависимости во временных рядах. Современные исследования сосредоточены на применении архитектуры Transformer, известной своей способностью обрабатывать сложные взаимодействия. Однако часто она уступает линейным моделям, что вызывает вопросы о её эффективности.
Примечательный подход предлагает LSEAttention, который решает проблему коллапса внимания в Transformer. В реализации SoftMax они используют трюк Log-Sum-Exp, чтобы стабилизировать числовые вычисления и предотвратить ошибки, вызванные переполнением или занижением значений. Использование активации GELU в сравнении с традиционным ReLU обеспечивает более стабильные результаты благодаря плавной ...
Читать далее...
Примечательный подход предлагает LSEAttention, который решает проблему коллапса внимания в Transformer. В реализации SoftMax они используют трюк Log-Sum-Exp, чтобы стабилизировать числовые вычисления и предотвратить ошибки, вызванные переполнением или занижением значений. Использование активации GELU в сравнении с традиционным ReLU обеспечивает более стабильные результаты благодаря плавной ...
Читать далее...