机器学习笔记第一周

好的，这是一份为机器学习入门第一周整理的中文笔记概要，涵盖核心概念和常见内容：

机器学习笔记 - 第一周

经典定义 (Arthur Samuel, 1959): 让计算机在不进行显式编程的情况下具备学习能力的研究领域。
现代定义 (Tom Mitchell, 1997): 对于某类任务T和性能度量P，如果一个计算机程序在任务T上的性能P随着经验E而提高，则可以说该程序从经验E中学习。
- T: 学习系统要解决的具体任务类型（例如：识别垃圾邮件、预测房价）。
- P: 衡量任务T完成好坏的标准（例如：分类准确率、预测均方误差）。
- E: 学习系统用来获取知识的数据或实例（即数据集）。

监督学习
- 特点： 数据集包含输入特征和对应的已知输出标签/目标值。目标是学习输入到输出的映射关系。
- 核心概念:
  - 特征 : 描述输入数据的属性或变量 (e.g., 房屋面积、卧室数量)。
  - 标签 : 预测的目标值或类别 (e.g., 房屋价格：“$350,000”; 邮件类型：“垃圾邮件” / “非垃圾邮件”)。
  - 回归: 预测连续值输出 (e.g., 房价预测)。
  - 分类: 预测离散类别输出 (e.g., 垃圾邮件分类：0/1, 疾病诊断：类别A/B/C)。
- 目标: 找到“最佳”映射函数 h (称为假设函数)，使得对于新的输入数据x，能准确地预测其输出y (y ≈ h(x))，同时在已有数据上表现良好。
- 典型算法 (第一周可能接触):
  - 线性回归 (Linear Regression)
  - 逻辑回归 (Logistic Regression) - 用于分类
无监督学习
- 特点： 数据集没有标签。算法需要自行发现数据中的结构或模式。
- 核心任务:
  - 聚类: 将数据自动分组（根据相似性），例如客户细分、新闻主题分组。
  - 降维: 将高维数据压缩到低维空间，同时保留重要信息。可视化、去噪声、加速其他算法。例子：主成分分析 (PCA)。
  - 异常检测: 发现异常点或离群点。
- 目标: 揭示数据的内在结构，而不依赖于预先定义的目标。

监督学习模型：
- 基本思想：找到能拟合数据的函数 h(x)。
- 线性回归模型: h(x) = θ₀ + θ₁x₁ + θ₂x₂ + ... + θₙxₙ (假设特征数量n)
  - x₁, x₂, ..., xₙ: 输入特征。
  - θ₀: 偏置项 (bias)。
  - θ₁, θ₂, ..., θₙ: 模型参数，表示每个特征对预测的“权重”或影响程度。
- 模型参数： θ₀, θ₁, ..., θₙ 是模型通过学习（从数据中）需要确定的值。

目的: 衡量模型预测值 h(x) 与真实标签值 y 之间的差距（误差）。评估模型的好坏。
核心: 它是一个关于模型参数 θ 的函数 (J(θ))。目标是找到使 J(θ) 最小化的参数值 θ。
线性回归常用代价函数:
- 平方误差代价函数： J(θ₀, θ₁, ..., θₙ) = (1/(2m)) * Σ [ h(x⁽ᶦ⁾) - y⁽ᶦ⁾ ]² (对 i = 1 到 m 求和)
- m: 训练样本数量。
- h(x⁽ᶦ⁾): 模型对第 i 个样本的预测值。
- y⁽ᶦ⁾): 第 i 个样本的真实标签值。
- 除以 2m: 有时写作 1/(2m)，便于后续梯度下降计算，不影响最小化。
目标: minimize J(θ) (找到 J(θ) 最小的点)。

目的: 一种自动优化算法，用于最小化代价函数 J(θ)，从而找到最优模型参数 θ。
核心思想:
1. 初始化模型参数 θ (例如全设为0)。
2. 不断迭代更新 θ： θⱼ := θⱼ - α * ∂/∂θⱼ J(θ) (对每个参数 j = 0, 1, ..., n)
3. 直到 J(θ) 收敛（变化很小）或达到预定迭代次数。
关键概念:
- α: 学习率 (Learning Rate)。控制每次更新步长的大小。
  - 太小：收敛慢。
  - 太大：可能无法收敛甚至发散。
- ∂/∂θⱼ J(θ): 代价函数 J(θ) 关于参数 θⱼ 的偏导数。表示在 θ 点处，沿 θⱼ 轴方向 J(θ) 的变化率（即梯度在该方向的分量）。
- 同时更新 (Simultaneous Update): 在一个迭代步中，先计算所有参数的偏导 (∂/∂θ₀ J(θ), ∂/∂θ₁ J(θ), ...)，然后同时更新所有参数。非常重要！
变种:
- 批量梯度下降 (Batch Gradient Descent): 每次更新使用全部训练数据 (m 个样本) 计算梯度。上面描述的就是这种，计算成本高但精确。
- 随机梯度下降 (Stochastic Gradient Descent)： 每次更新随机选择一个样本计算梯度。计算快，适合大数据，但方向波动大。

机器学习大量依赖线性代数。

矩阵: m x n 的数组。表示数据集、模型参数等非常高效。
向量: n x 1 或 1 x n 的矩阵（列向量或行向量）。常用于表示特征向量、标签向量等。
矩阵运算：
- 加法、标量乘法
- 矩阵乘法: (A * B) ，需满足尺寸兼容（A列数=B行数）。
- 逆矩阵 (A⁻¹)：仅对方阵且可逆矩阵存在。A * A⁻¹ = I (单位矩阵)。
- 转置 (Aᵀ): 行列互换。
使用目的：
- 向量化 (Vectorization)： 用矩阵/向量运算代替循环，极大加速计算（尤其在大规模优化如梯度下降中）。
- 表示多个样本: 用设计矩阵 X (m x (n+1)，考虑 θ₀ 的常数项列) 一次表示所有训练样本的特征。