以下是一份系统化的专业机器学习核心笔记，涵盖关键概念、算法分类及实践要点，适用于快速回顾或知识梳理：

一、机器学习定义

通过算法从数据中自动学习模式，用于预测或决策，无需显式编程。

二、机器学习分类

1. 按学习方式

2. 按任务类型

• 分类（Classification）：预测离散类别（如垃圾邮件识别）
• 回归（Regression）：预测连续数值（如房价预测）
• 聚类（Clustering）：数据分组（如用户分群）
• 降维（Dimensionality Reduction）：压缩特征维度（如PCA）

三、核心理论基础

1. 泛化能力

• 过拟合（Overfitting）：模型在训练集表现好，测试集差
  → 解决方案：正则化（L1/L2）、Dropout、早停法、交叉验证
• 欠拟合（Underfitting）：模型无法学习数据规律
  → 解决方案：增加特征、降低正则化强度、增大模型复杂度

2. 偏差-方差分解

3. 交叉验证（Cross-Validation）

• K-Fold CV：数据分K份，轮流用K-1份训练、1份测试，避免数据划分偏差。

四、经典算法速览

1. 监督学习算法

2. 非监督学习算法

• K-Means聚类：最小化簇内距离，需预设K值（肘部法则选K）
• PCA主成分分析：线性变换，保留最大方差的正交特征轴

3. 强化学习关键概念

• 马尔可夫决策过程（MDP）：(S, A, P, R, γ)
• Q-Learning：学习动作价值函数：
  Q(s,a) ← Q(s,a) + α [R + γ·max_a Q(s',a) - Q(s,a)]

五、模型评估指标

六、深度学习关键组件

1. 神经网络结构：

   • CNN：卷积层（局部特征） + 池化层（降维） → 图像处理
   • RNN/LSTM：循环连接处理序列数据（如文本、时间序列）
   • Transformer：自注意力机制 → NLP领域主流（如BERT, GPT）

2. 激活函数：

   • ReLU：f(x) = max(0, x) （解决梯度消失，加速收敛）
   • Softmax：多分类输出概率归一化

3. 优化器：

   • SGD：基础随机梯度下降
   • Adam：自适应学习率（主流选择）

七、实践要点

1. 数据预处理：

   • 缺失值处理：填充均值/中位数、模型预测
   • 特征缩放：归一化（MinMax）、标准化（StandardScaler）
   • 编码类别：独热编码（One-Hot）、标签编码（LabelEncoder）

2. 特征工程：

   • 特征交叉（如年龄×性别组合）、多项式特征
   • 文本特征：TF-IDF、词嵌入（Word2Vec）

3. 模型部署：

   • 轻量化模型：量化、剪枝、知识蒸馏
   • 服务框架：TensorFlow Serving、TorchServe

八、重要概念辨析

• Batch Size vs Epoch：
  Batch：单次训练样本数；Epoch：遍历全部数据1次
• 梯度消失/爆炸：LSTM/GRU缓解RNN问题，Transformer替代
• 迁移学习：预训练模型（如ResNet, BERT）+ 微调（少量标注数据）

注：此笔记为浓缩核心内容，实际应用需结合具体场景调参优化（如学习率、树深度）。建议配合代码实践（Scikit-learn/PyTorch）加深理解。