методов оптимизации в модели, в частности на объём создаваемых буферов для моментов 2-го порядка. Для методики Adam-mini сократим объём этого буфера. Вместо хранения отдельного значения для каждого параметра, будем хранить одно значение на блок параметров. Для полносвязного слоя это число соотносится с количеством нейронов слоя результата.
При внесении изменений, метод updateInputWeights должен также учитывать новые размеры буферов памяти. Это позволит грамотно использовать преимущества Adam-mini и оптимизировать потребление памяти, что особенно актуально для обучения больших моделей на ограниченных ресурсах.
Кроме того, эта модификация позволит повысить производительность и скалируемость при обучении более крупных архитектур.
Читать далее...
При внесении изменений, метод updateInputWeights должен также учитывать новые размеры буферов памяти. Это позволит грамотно использовать преимущества Adam-mini и оптимизировать потребление памяти, что особенно актуально для обучения больших моделей на ограниченных ресурсах.
Кроме того, эта модификация позволит повысить производительность и скалируемость при обучении более крупных архитектур.
Читать далее...