2025年9月

一、 监督学习 (Supervised Learning)
监督学习使用带有“标签”(即正确答案)的数据来训练模型,目标是让模型学会从输入预测输出。

线性回归 (Linear Regression)
原理: 假设目标变量(如房价)与一个或多个特征(如面积、房间数)之间存在线性关系,通过找到一条最佳拟合直线(或超平面)来预测连续值。
实例: 预测房价。根据房屋的面积、位置、房龄、房间数量等特征,预测其市场售价。
核心思想: 房价 = w1 面积 + w2 房间数 + w3 * 位置评分 + ... + b
逻辑回归 (Logistic Regression)
原理: 虽然名字有“回归”,但它用于分类。它使用Sigmoid函数将线性回归的输出压缩到(0,1)区间,表示属于某一类的概率。
实例: 预测客户是否会流失。根据客户的消费记录、服务使用时长、投诉次数等特征,预测该客户在未来一个月内流失(是/否)的概率。
核心思想: P(流失) = 1 / (1 + e^-(w1消费 + w2时长 + w3*投诉 + b))
决策树 (Decision Tree)
原理: 模拟人类决策过程,通过一系列“是/否”问题(基于特征的判断)将数据不断划分,最终到达叶子节点(预测结果)。易于理解和解释。
实例: 信用评分。银行根据“收入是否高于5000?”、“是否有房产?”、“信用记录年限是否大于3年?”等问题,决定是否批准贷款申请。
核心思想: 构建一棵树,每个内部节点是一个特征判断,每个分支是判断结果,每个叶子节点是最终分类或回归值。
支持向量机 (Support Vector Machine, SVM)
原理: 在特征空间中寻找一个最优的超平面,将不同类别的数据点尽可能清晰地分开,并使两类数据点到超平面的“间隔”最大化。
实例: 图像分类。在二维或高维特征空间中,将手写数字“1”和“7”的图像特征点用一条最优直线(或超平面)分开。
核心思想: 最大化分类边界(间隔)以提高模型的泛化能力。
K-近邻算法 (K-Nearest Neighbors, KNN)
原理:“物以类聚”。对于一个新样本,找到训练集中距离它最近的K个邻居,根据这K个邻居的类别(分类)或值(回归)来预测新样本。
实例: 推荐系统。预测用户A可能喜欢的电影。找到与用户A品味最相似的K个用户(邻居),然后推荐这些邻居喜欢但用户A还没看过的电影。
核心思想: 新样本的预测结果由其“近邻”决定。
二、 无监督学习 (Unsupervised Learning)
无监督学习使用没有标签的数据,目标是发现数据内部的结构、模式或关系。

K-均值聚类 (K-Means Clustering)
原理: 将数据划分为K个簇(cluster),使得同一个簇内的数据点彼此相似,而不同簇的数据点差异较大。通过迭代更新簇中心点来实现。
实例: 客户细分。根据客户的购买金额、购买频率、产品偏好等特征,将客户自动划分为不同的群体(如“高价值客户”、“价格敏感型客户”),以便进行精准营销。
核心思想: 最小化每个点到其所属簇中心的距离平方和。
主成分分析 (Principal Component Analysis, PCA)
原理: 一种降维技术。通过线性变换,将高维数据投影到低维空间,同时尽可能多地保留原始数据的方差(信息)。新生成的维度(主成分)是原始特征的线性组合,且相互正交。
实例: 数据可视化与降噪。将包含100个特征的人脸图像数据降维到2维或3维,以便在二维平面上可视化不同人脸的分布;或去除数据中的冗余信息和噪声。
核心思想: 找到数据变化最大的方向(主成分)。
关联规则学习 (Association Rule Learning)
原理: 发现数据集中项目(items)之间的有趣关系或共现模式。常用指标有支持度(Support)、置信度(Confidence)和提升度(Lift)。
实例: 购物篮分析。发现“购买了尿布的顾客,有很大概率也会购买啤酒”这样的规则,用于商品摆放或交叉销售。
核心思想: 如果买了A,那么很可能也买了B (A -> B)。
三、 强化学习 (Reinforcement Learning)
强化学习让智能体(Agent)在与环境的交互中学习,通过试错来最大化累积奖励。

Q-学习 (Q-Learning)
原理: 一种无模型的强化学习算法。智能体学习一个Q表(或Q函数),该表记录了在特定状态下采取某个动作的预期累积奖励。通过不断更新Q值,智能体学会选择能获得最大长期奖励的动作。
实例: 训练机器人走迷宫。机器人(智能体)在迷宫(环境)中移动,每走一步获得小惩罚(负奖励),到达终点获得大奖励。通过Q学习,机器人学会找到从起点到终点的最短路径。
核心思想: Q(s, a) = Q(s, a) + α [r + γ max Q(s', a') - Q(s, a)] (贝尔曼方程)
总结

算法类别 算法 主要任务 典型应用
监督学习 线性回归 预测连续值 房价预测、销售额预测
逻辑回归 二分类/多分类 信用评估、疾病诊断
决策树 分类/回归 客服自动应答、医疗诊断
SVM 分类/回归 图像识别、文本分类
KNN 分类/回归 推荐系统、模式识别
无监督学习 K-Means 聚类 客户分群、图像分割
PCA 降维 数据压缩、可视化
关联规则 发现关联 市场购物篮分析
强化学习 Q-学习 序列决策 游戏AI、机器人控制
这些实例展示了机器学习如何解决现实世界中的各种问题。选择哪种算法取决于具体问题的性质、数据的类型以及最终的目标。