本文共 4190 字，大约阅读时间需要 13 分钟。

������������������������ + ���������������

������������

������������������������������������������������������������������������������������������������������������CART������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

���������������������

������������������������������������������������������������������������������������������������

1. ���������������

������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������ ( D = { (x_1, y_1 ), (x_2, y_2 ), ..., (x_N, y_N ) } )��������������������������������������������� ( x_i = (x_i^{(1)}, x_i^{(2)}, ..., x_i^{(n)}) )���n������������������i=1,2,...,N���N��������������������������������������������������������������������������������������� j ������������ s���

2. ���������������

��������������������������������������������������������������������������������������� Y ���������������������������������������������������������������������������

3. ������������

• ������������������ j ������������ s������������������������������������
• ������ (j, s) ������������������������������������������������������
• ���������������������������������������������������������
• ���������������������������������������������������������������������������������

������������������

���������������

������������������������������������������������������������������������������������������������������������������������

1. ���������������

• ������������������������������������ x���

• ������������������ 1.5, 2.5, 3.5, 4.5, 5.5, 6.5, 7.5, 8.5, 9.5 ������

• ������������������������������������������������������������������������������������������������������������

  [ L(j, s) = \sum_{x_i \in R_1(j, s)} (y_i - \hat{c}1)^2 + \sum{x_i \in R_2(j, s)} (y_i - \hat{c}_2)^2 ]

  ���������(\hat{c}1 = \frac{1}{N_1} \sum{x_i \in R_1(j, s)} y_i)���(\hat{c}2 = \frac{1}{N_2} \sum{x_i \in R_2(j, s)} y_i)���

2. ���������������������

��������������������������������� s=6.5 ������������������������������������������������ x=6.5 ���������������

3. ������������

��������������� [1, 6] ������������������������

• ������������������������������������������ s=3.5���
• ������������������������������ [7, 10]��������������������� s=9.5���

4. ���������������

���������������������������

[ T = \begin{cases} 5.72 & \text{��� } x \leq 3.5 \ 6.75 & \text{��� } 3.5 < x \leq 6.5 \ 8.91 & \text{��� } x > 6.5 \end{cases} ]

������Python ������

������������

import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeRegressor
from sklearn import linear_model
x = np.array(list(range(1, 11))).reshape(-1, 1)
y = np.array([5.56, 5.70, 5.91, 6.40, 6.80, 7.05, 8.90, 8.70, 9.00, 9.05]).ravel()
model1 = DecisionTreeRegressor(max_depth=1)
model2 = DecisionTreeRegressor(max_depth=3)
model3 = linear_model.LinearRegression()
model1.fit(x, y)
model2.fit(x, y)
model3.fit(x, y)
X_test = np.arange(0.0, 10.0, 0.01)[:, np.newaxis]
y_1 = model1.predict(X_test)
y_2 = model2.predict(X_test)
y_3 = model3.predict(X_test)
plt.figure()
plt.scatter(x.flatten(), y, s=20, edgecolor="black", c="darkorange", label="data")
plt.plot(X_test[:, 0], y_1.flatten(), color="cornflowerblue", label="max_depth=1", linewidth=2)
plt.plot(X_test[:, 0], y_2.flatten(), color="yellowgreen", label="max_depth=3", linewidth=2)
plt.plot(X_test[:, 0], y_3.flatten(), color='red', label='linear regression', linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()

������������

������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

������������