Что, если мы установим все веса нейронной сети равными 0?
Если все веса нейронной сети установлены равными нулю, выходные данные каждого соединения будут одинаковыми (W*x = 0). Это означает, что градиенты, которые возвращаются к каждому соединению в слое, одинаковы. То есть все связи/веса изучают одно и то же, и модель никогда не сойдется.
Если все веса нейронной сети установлены равными нулю, выходные данные каждого соединения будут одинаковыми (W*x = 0). Это означает, что градиенты, которые возвращаются к каждому соединению в слое, одинаковы. То есть все связи/веса изучают одно и то же, и модель никогда не сойдется.