Data Science | Вопросы собесов

📌 Что такое метод максимизации правдоподобия ?



💬 Спрашивают в 14% собеседований



Метод максимизации правдоподобия (Maximum Likelihood Estimation, MLE) — это статистический метод для оценки параметров модели. Основная идея MLE заключается в выборе таких значений параметров, которые максимизируют функцию правдоподобия, то есть делают наблюдаемые данные наиболее вероятными при заданных параметрах модели.



Основные концепции



1️⃣ Правдоподобие (likelihood): Правдоподобие — это вероятность наблюдаемых данных при заданных параметрах модели. Пусть \( \theta \) — вектор параметров модели, \( X = (x_1, x_2, \ldots, x_n) \) — наблюдаемые данные. Тогда функция правдоподобия \( L(\theta | X) \) — это вероятность получения этих данных при параметрах \( \theta \).



\[

L(\theta | X) = P(X | \theta)

\]



2️⃣ Логарифм правдоподобия: Для удобства математических манипуляций часто используют логарифм функции правдоподобия, называемый логарифмическим правдоподобием (log-likelihood). Логарифм преобразует произведение вероятностей в сумму, что упрощает дифференцирование.



\[

\ell(\theta | X) = \log L(\theta | X)

\]



3️⃣ Максимизация правдоподобия: Задача MLE состоит в нахождении такого значения параметров \( \hat{\theta} \), которое максимизирует функцию правдоподобия. Формально это выглядит как:



\[

\hat{\theta} = \arg\max_{\theta} L(\theta | X) \quad \text{или} \quad \hat{\theta} = \arg\max_{\theta} \ell(\theta | X)

\]



Пример: Оценка параметров нормального распределения



Рассмотрим пример, где мы хотим оценить параметры нормального распределения (среднее \( \mu \) и стандартное отклонение \( \sigma \)) с использованием MLE.



1️⃣ Функция плотности вероятности нормального распределения:



\[

f(x | \mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)

\]



2️⃣ Функция правдоподобия для выборки \( X = (x_1, x_2, \ldots, x_n) \):



\[

L(\mu, \sigma | X) = \prod_{i=1}^{n} f(x_i | \mu, \sigma)

\]



3️⃣ Логарифм функции правдоподобия:



\[

\ell(\mu, \sigma | X) = \sum_{i=1}^{n} \log f(x_i | \mu, \sigma)

\]



Подставив функцию плотности нормального распределения:



\[

\ell(\mu, \sigma | X) = -n \log(\sqrt{2\pi\sigma^2}) - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2

\]



4️⃣ Максимизация логарифма правдоподобия



Найдем частные производные логарифма правдоподобия по \( \mu \) и \( \sigma \), приравняем их к нулю и решим систему уравнений.

import numpy as np



# Пример данных

data = np.array([2.1, 2.5, 3.6, 3.9, 4.2, 5.0])



# Оценка параметров нормального распределения с использованием MLE

mu_mle = np.mean(data)

sigma_mle = np.std(data, ddof=0)



print(f"Оценка среднего (mu) по MLE: {mu_mle}")

print(f"Оценка стандартного отклонения (sigma) по MLE: {sigma_mle}")

Применение MLE в машинном обучении



1️⃣ Линейная регрессия:



В линейной регрессии параметры (коэффициенты) оцениваются с использованием метода наименьших квадратов, который эквивалентен максимизации правдоподобия при предположении нормального распределения ошибок.



2️⃣ Логистическая регрессия:



В логистической регрессии MLE используется для оценки коэффициентов, максимизируя логарифм функции правдоподобия для логистической функции.



Метод максимизации правдоподобия (MLE) — это метод для оценки параметров модели, максимизируя функцию правдоподобия. MLE широко используется в статистике и машинном обучении для оценки параметров, таких как среднее и стандартное отклонение нормального распределения, коэффициенты линейной и логистической регрессии и многих других моделей.



🔥 ТОП ВОПРОСОВ С СОБЕСОВ



🔒 База собесов | 🔒 База тестовых