在探索性数据分析（EDA）中，常用的数据处理方法主要包括以下内容，目的是理解数据分布、发现异常、清洗数据并为后续建模做准备：

1. 数据清洗

• 重复值处理：删除完全重复的行（df.drop_duplicates()）。
• 缺失值处理：
  • 删除缺失值（df.dropna()）。
  • 填充缺失值：用均值、中位数、众数填充，或插值法（如时间序列的线性插值）。
• 错误值修正：根据业务逻辑修正不合理值（如年龄为负数时替换为合理范围）。

2. 异常值检测与处理

• 统计方法：
  • Z-Score法：计算数据点与均值的标准差距离（通常阈值设为±3）。
  • IQR（四分位距）法：定义异常值为低于 Q1-1.5IQR 或高于 Q3+1.5IQR 的数据。
• 可视化方法：通过箱线图（Boxplot）、散点图等直观识别异常点。
• 处理方式：删除、替换为边界值，或保留并标记为特殊类别。

3. 数据分布分析

• 统计描述：计算均值、中位数、标准差、分位数等（df.describe()）。
• 可视化分布：
  • 直方图（Histogram）分析数值分布。
  • 核密度估计（KDE）观察连续变量的密度。
  • Q-Q图验证数据是否符合正态分布。
• 偏度与峰度：分析数据分布的对称性和陡峭程度。

4. 数据转换

• 标准化（Standardization）：将数据转换为均值为0、标准差为1（Z = (X - μ)/σ）。
• 归一化（Normalization）：缩放到[0,1]范围（如Min-Max缩放）。
• 对数/幂变换：处理右偏分布（如对数转换 np.log1p(X)）。
• 分箱（Binning）：将连续变量离散化为分类变量（如年龄分段）。

5. 特征工程

• 分类变量编码：
  • 独热编码（One-Hot Encoding）：适用于无序类别（pd.get_dummies()）。
  • 标签编码（Label Encoding）：适用于有序类别。
• 时间特征提取：从日期中提取年、月、日、星期等。
• 特征组合：根据业务知识构造新特征（如销售额/用户数 = 客单价）。

6. 数据可视化

• 单变量分析：直方图、条形图、饼图。
• 多变量分析：
  • 散点图（观察两个变量关系）。
  • 热力图（分析特征相关性，sns.heatmap(df.corr())）。
  • 折线图（时间序列趋势）。
• 高级可视化：Pairplot（成对关系图）、Violin Plot（分布对比）。

7. 数据抽样与重采样

• 分层抽样：保持类别比例一致（如处理类别不平衡数据）。
• 时间序列重采样：降采样（天→月）或升采样（线性插值填充）。

8. 数据相关性分析

• 统计指标：
  • 皮尔逊相关系数（线性相关）。
  • 斯皮尔曼秩相关系数（单调非线性相关）。
• 可视化：相关矩阵热力图、散点图矩阵。

9. 文本数据处理

• 分词与清洗：去除停用词、标点符号。
• 词频统计：TF-IDF、词云图（Word Cloud）。
• 嵌入表示：词袋模型（Bag-of-Words）、词向量（如Word2Vec）。

10. 数据类型检查与转换

• 修正数据类型错误（如将字符串格式的日期转换为datetime类型）。
• 处理分类变量的有序/无序属性。

通过以上方法，EDA能够帮助发现数据模式、潜在问题，并为后续建模提供干净、有效的输入数据。实际应用中需结合具体业务场景选择合适的方法。