Когда бы вы использовали Adam, а когда SGD?



Adam имеет тенденцию сходиться быстрее, тогда как SGD часто сходится к более оптимальным решениям.