• 机器学习算法

    KNN算法

    K近邻(K-Nearest Neighbors,KNN)算法是一种基本的分类与回归方法。下面分别给出KNN分类和KNN回归的Python实例代码。

    1. KNN分类实例

    我们将使用scikit-learn库中的鸢尾花数据集进行KNN分类。

    from sklearn.datasets import load_iris
    from sklearn.model_selection import train_test_split
    from sklearn.neighbors import KNeighborsClassifier
    from sklearn.metrics import accuracy_score
    
    # 加载鸢尾花数据集
    iris = load_iris()
    X = iris.data  # 特征数据
    y = iris.target  # 标签数据
    
    # 划分训练集和测试集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
    
    # 创建KNN分类器,这里k值设为5
    knn = KNeighborsClassifier(n_neighbors=5)
    
    # 训练模型
    knn.fit(X_train, y_train)
    
    # 进行预测
    y_pred = knn.predict(X_test)
    
    # 计算准确率
    accuracy = accuracy_score(y_test, y_pred)
    print(f"KNN分类准确率: {accuracy}")

    代码解释:

    1. 数据加载:使用load_iris函数加载鸢尾花数据集。
    2. 数据划分:使用train_test_split函数将数据集划分为训练集和测试集,测试集占比为30%。
    3. 模型创建:使用KNeighborsClassifier创建KNN分类器,n_neighbors参数指定K值为5。
    4. 模型训练:使用fit方法对训练数据进行训练。
    5. 模型预测:使用predict方法对测试数据进行预测。
    6. 准确率计算:使用accuracy_score函数计算预测结果的准确率。

    2. KNN回归实例

    我们将使用scikit-learn库中的波士顿房价数据集进行KNN回归。

    from sklearn.datasets import load_boston
    from sklearn.model_selection import train_test_split
    from sklearn.neighbors import KNeighborsRegressor
    from sklearn.metrics import mean_squared_error
    
    # 加载波士顿房价数据集
    boston = load_boston()
    X = boston.data  # 特征数据
    y = boston.target  # 标签数据
    
    # 划分训练集和测试集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
    
    # 创建KNN回归器,这里k值设为5
    knn_reg = KNeighborsRegressor(n_neighbors=5)
    
    # 训练模型
    knn_reg.fit(X_train, y_train)
    
    # 进行预测
    y_pred = knn_reg.predict(X_test)
    
    # 计算均方误差
    mse = mean_squared_error(y_test, y_pred)
    print(f"KNN回归均方误差: {mse}")

    代码解释:

    1. 数据加载:使用load_boston函数加载波士顿房价数据集。
    2. 数据划分:使用train_test_split函数将数据集划分为训练集和测试集,测试集占比为30%。
    3. 模型创建:使用KNeighborsRegressor创建KNN回归器,n_neighbors参数指定K值为5。
    4. 模型训练:使用fit方法对训练数据进行训练。
    5. 模型预测:使用predict方法对测试数据进行预测。
    6. 均方误差计算:使用mean_squared_error函数计算预测结果的均方误差。

    需要注意的是,波士顿房价数据集在scikit-learn 1.2及以上版本中已被移除,如果你使用的是较新版本,可以使用fetch_california_housing数据集代替。