机器学习决策边界可视化代码大全

以下是常用分类算法的决策边界可视化代码（使用Python + Matplotlib），包含线性/非线性模型的典型示例：

基础准备代码

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap

# 通用绘图函数
def plot_decision_boundary(clf, X, y, title):
    cmap_light = ListedColormap(['#FFAAAA', '#AAAAFF', '#AAFFAA'])
    cmap_bold = ListedColormap(['#FF0000', '#0000FF', '#00FF00'])

    # 生成网格点
    h = 0.02  # 网格步长
    x_min, x_max = X[:, 0].min()-1, X[:, 0].max()+1
    y_min, y_max = X[:, 1].min()-1, X[:, 1].max()+1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                         np.arange(y_min, y_max, h))

    # 预测并绘制
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)

    plt.figure(figsize=(10, 6))
    plt.pcolormesh(xx, yy, Z, cmap=cmap_light)
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold, edgecolor='k', s=20)
    plt.title(title)
    plt.show()

# 创建测试数据集
from sklearn import datasets
X, y = datasets.make_moons(n_samples=200, noise=0.2, random_state=42)
plt.scatter(X[:,0], X[:,1], c=y)
plt.title("原始数据集")
plt.show()

1. 逻辑回归（线性边界）

from sklearn.linear_model import LogisticRegression

lr = LogisticRegression()
lr.fit(X, y)
plot_decision_boundary(lr, X, y, "逻辑回归决策边界")

2. SVM线性分类（线性边界）

from sklearn.svm import SVC

svm_linear = SVC(kernel='linear')
svm_linear.fit(X, y)
plot_decision_boundary(svm_linear, X, y, "SVM线性决策边界")

3. SVM高斯核（非线性边界）

svm_rbf = SVC(kernel='rbf', gamma=1.0, C=1.0)
svm_rbf.fit(X, y)
plot_decision_boundary(svm_rbf, X, y, "SVM高斯核决策边界")

4. 决策树（非线性阶梯边界）

from sklearn.tree import DecisionTreeClassifier

tree = DecisionTreeClassifier(max_depth=5)
tree.fit(X, y)
plot_decision_boundary(tree, X, y, "决策树决策边界")

5. K近邻（KNN非线性边界）

from sklearn.neighbors import KNeighborsClassifier

knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X, y)
plot_decision_boundary(knn, X, y, "KNN决策边界 (k=5)")

6. 随机森林（非线性边界）

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(n_estimators=100)
rf.fit(X, y)
plot_decision_boundary(rf, X, y, "随机森林决策边界")

7. 神经网络（非线性边界）

from sklearn.neural_network import MLPClassifier

nn = MLPClassifier(hidden_layer_sizes=(10,10), max_iter=10000)
nn.fit(X, y)
plot_decision_boundary(nn, X, y, "神经网络决策边界")

特殊边界案例代码

1. 线性不可分数据集（圆形边界）

# 创建环形数据集
X_circle, y_circle = datasets.make_circles(n_samples=200, noise=0.1, factor=0.5)

# 使用高斯核SVM
svm_circle = SVC(kernel='rbf', gamma=10)
svm_circle.fit(X_circle, y_circle)
plot_decision_boundary(svm_circle, X_circle, y_circle, "高斯SVM解决圆形边界")

2. 过拟合 vs 欠拟合对比

# 过拟合决策树
tree_overfit = DecisionTreeClassifier(max_depth=None)
tree_overfit.fit(X, y)
plot_decision_boundary(tree_overfit, X, y, "过拟合决策树")

# 欠拟合决策树
tree_underfit = DecisionTreeClassifier(max_depth=1)
tree_underfit.fit(X, y)
plot_decision_boundary(tree_underfit, X, y, "欠拟合决策树")

3. 正则化影响对比 (SVM)

# 强正则化
svm_highC = SVC(C=0.01, kernel='rbf')
svm_highC.fit(X, y)
plot_decision_boundary(svm_highC, X, y, "高正则化SVM边界")

# 弱正则化
svm_lowC = SVC(C=1000, kernel='rbf')
svm_lowC.fit(X, y)
plot_decision_boundary(svm_lowC, X, y, "低正则化SVM边界")

使用技巧

1. 调整边界平滑度：修改SVM的gamma值或KNN的n_neighbors
2. 处理非平衡数据：添加class_weight参数
3. 高维可视化：通过PCA降维后再绘制边界
4. 3D决策面：对于3维数据使用plot_surface

所有代码需要安装：pip install numpy matplotlib scikit-learn