Data Science | Вопросы собесов

🤔 Как делается прунинг деревьев?



Прунинг деревьев (или обрезка деревьев решений) — это процесс удаления ненужных ветвей в дереве, чтобы упростить модель и предотвратить переобучение. Обычно это делается путем удаления или сокращения узлов, которые добавляют мало полезной информации, что уменьшает сложность дерева без значительных потерь в точности. Существует несколько методов прунинга, включая предобрезку (pruning during tree construction) и постобрезку (pruning after tree construction), которые помогают сбалансировать общее количество узлов и глубину дерева, улучшая его обобщающую способность.



🚩До обрезки (Pre-pruning)



До обрезки включает остановку роста дерева раньше, чем оно полностью обучится. В процессе построения дерева принимаются решения о прекращении роста текущей ветви, если выполнение одного из критериев остановки.



🟠Максимальная глубина дерева (max depth)

Останавливает рост дерева, если оно достигает определенной глубины.

🟠Минимальное количество образцов в листе (min samples leaf)

Останавливает рост дерева, если в узле меньше определенного количества образцов.

🟠Минимальное количество образцов для разбиения (min samples split)

Останавливает рост дерева, если меньше определенного количества образцов в узле для разбиения.

🟠Минимальная информационная выгода (min impurity decrease)

Останавливает рост дерева, если уменьшение неопределенности после разбиения меньше определенного порога.



🚩После обрезки (Post-pruning)



После обрезки включает создание полного дерева и затем удаление некоторых его ветвей. Этот метод часто считается более эффективным, так как позволяет создать дерево с максимальной сложностью и затем упрощать его



🟠Обрезка на основе ошибки на валидационном наборе

Дерево сначала обучается до полной глубины, а затем на валидационном наборе данных удаляются ветви, которые увеличивают ошибку.

🟠Обрезка на основе критерия минимальной ошибки (cost complexity pruning)

Включает расчет ошибки для каждого поддерева и удаление тех, которые увеличивают общую ошибку меньше всего.



🚩Пример обрезки деревьев



До обрезки

from sklearn.datasets import load_iris

from sklearn.tree import DecisionTreeClassifier

from sklearn.model_selection import train_test_split



# Загрузка данных

data = load_iris()

X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42)



# Модель с параметрами до обрезки

model_pre_pruning = DecisionTreeClassifier(max_depth=3, min_samples_split=4, min_samples_leaf=2)

model_pre_pruning.fit(X_train, y_train)



# Оценка модели

print(f"Точность на тестовом наборе (до обрезки): {model_pre_pruning.score(X_test, y_test)}")

После обрезки

from sklearn.tree import DecisionTreeClassifier

from sklearn.tree import plot_tree

import matplotlib.pyplot as plt



# Создание и обучение дерева без обрезки

model = DecisionTreeClassifier()

model.fit(X_train, y_train)



# Построение полного дерева

plt.figure(figsize=(20,10))

plot_tree(model, filled=True)

plt.show()



# Применение после обрезки с помощью параметра cost_complexity_pruning

path = model.cost_complexity_pruning_path(X_train, y_train)

ccp_alphas, impurities = path.ccp_alphas, path.impurities



# Обучение моделей для каждого значения alpha

models = []

for ccp_alpha in ccp_alphas:

    model = DecisionTreeClassifier(ccp_alpha=ccp_alpha)

    model.fit(X_train, y_train)

    models.append(model)



# Выбор лучшей модели на основе валидационного набора

best_model = None

best_score = 0

for model in models:

    score = model.score(X_test, y_test)

    if score > best_score:

        best_model = model

        best_score = score



# Оценка лучшей модели

print(f"Точность на тестовом наборе (после обрезки): {best_score}")

Ставь 👍 и забирай 📚 Базу знаний