✍️ Разбираем задачи прошедшей недели
1️⃣ По умолчанию для новых тензоров в PyTorch параметр requires_grad установлен в False. Он указывает, нужно ли вычислять градиенты для тензора во время операций обратного распространения ошибки. Чтобы добиться этого, следует явно установить requires_grad=True при создании тензора.
2️⃣ Для классической линейной регрессии действует предположение о том, что дисперсия ошибок модели остаётся постоянной на протяжении всех значений независимых переменных. Гетероскедастичность — это нарушение данного предположения. То есть наличие гетероскедастичности можно заподозрить, если отклонения наблюдений от линии выборочной регрессии (остатки) достаточно сильно различаются.
3️⃣ Здесь нужно считать так:
- Первое умножение весов и прибавление смещений: 2*1 + 1 и 2*2 — 5 —> 3 и -1.
- Первое применение Relu: relu(3) = 3 и relu(-1) = 0.
- Второе умножение весов и прибавление смещений: 3*-2 + 0*4 = —6. —6 + 10 = 4.
- Второе применение Relu: relu(4) = 4.
4️⃣ Название Adam можно расшифровать как ADAptive Momentum. Этот метод объединяет две идеи: использование момента и адаптивных скоростей обучения. Вместо того чтобы адаптировать скорость обучения параметров на основе среднего первого момента, как в RMSProp, Adam также использует среднее значение вторых моментов градиентов.
5️⃣ Хорошее объяснение для этой задачи было дано в комментариях.
#разбор_задач
1️⃣ По умолчанию для новых тензоров в PyTorch параметр requires_grad установлен в False. Он указывает, нужно ли вычислять градиенты для тензора во время операций обратного распространения ошибки. Чтобы добиться этого, следует явно установить requires_grad=True при создании тензора.
2️⃣ Для классической линейной регрессии действует предположение о том, что дисперсия ошибок модели остаётся постоянной на протяжении всех значений независимых переменных. Гетероскедастичность — это нарушение данного предположения. То есть наличие гетероскедастичности можно заподозрить, если отклонения наблюдений от линии выборочной регрессии (остатки) достаточно сильно различаются.
3️⃣ Здесь нужно считать так:
- Первое умножение весов и прибавление смещений: 2*1 + 1 и 2*2 — 5 —> 3 и -1.
- Первое применение Relu: relu(3) = 3 и relu(-1) = 0.
- Второе умножение весов и прибавление смещений: 3*-2 + 0*4 = —6. —6 + 10 = 4.
- Второе применение Relu: relu(4) = 4.
4️⃣ Название Adam можно расшифровать как ADAptive Momentum. Этот метод объединяет две идеи: использование момента и адаптивных скоростей обучения. Вместо того чтобы адаптировать скорость обучения параметров на основе среднего первого момента, как в RMSProp, Adam также использует среднее значение вторых моментов градиентов.
5️⃣ Хорошее объяснение для этой задачи было дано в комментариях.
#разбор_задач