数据预处理和特征工程的常用功能

描述

来源:DA随想随笔

一、 概述

机器学习最基础的5个流程,分别是数据获取,数据预处理,特征工程,建模、测试和预测,上线与部署。

如果用做菜来对比,数据获取就好比买菜,数据预处理就好比洗菜,特征工程就好比主菜辅料加工准备,建模就好比炒菜,上线部署就好比摆盘上菜。

由此可见,数据预处理和特征工程在整个机器学习应用工作中,占据了极其重要的地位。要是菜没洗干净,食材没加工好,大厨手艺再高也做不出好吃的菜。

数据预处理

数据预处理主要是从数据角度和业务角度两方面入手,从获取的数据中查缺补漏,修正不准确的数据,剔除不适用的数据。

数据预处理的主要目的就是让数据符合模型需求,能正确表达业务意义。

常见的需要处理的问题有:

数据类型问题:数据中有的是文本格式,有的是数值格式,有的同样是时间序列但是格式不同。

数据质量问题:数据存在重复值,异常值,缺失值,数据量纲不统一有的数据取值在(0,1)之间有的取值是百万级的,样本分布存在偏态有某几类样本量极大。

业务表达问题:有些数据从值上看符合一般逻辑,但是落在具体业务场景中,就会存在问题,因此要结合业务意义,剔除不符合要求的样本数据。

特征工程

特征工程主要是对原始数据进行加工、组合、转换、产生新的变量,使其更能代表预测模型的潜在问题。同时还可以通过特征工程,挑选和提取一些更有价值的特征,剔除一些对模型性能影响不大的特征,从而降低模型计算的复杂度。

特征工程的主要目的是降低模型计算成本,提高模型精度。

常见的需要处理的问题有:

相关性分析:特征与特征之间相关性强,说明具有多重共线性,可以将几个特征组合成一个新特征,实现降维;特征与目标之间的相关性强,说明特征对目标的解释性好,是可用的特征,反之,说明特征对目标没什么影响,则可以剔除该特征。

特征构造:基于原始特征,进行组合,转换,加工,生成新的特征,使得其更具有对目标的解释性。

特征降维:讲一些解释性弱的特征,业务意义不强的特征剔除,降低模型运算复杂度,提高性能。

二、 常用功能

接下来以python为例,介绍在数据预处理和特征工程过程中常用的一些方法。

 

# 导入数据,这里以python自带的鸢尾花数据为例
from sklearn import datasets
import pandas as pd  
import numpy as np
# 加载数据集
data = datasets.load_iris()
X = data.data   # 特征值
y = data.target   # 目标值
data_iris=pd.DataFrame(X)
data_iris['target']=pd.DataFrame(y)
data_iris=data_iris.rename(columns={0:'F1',1:'F2',2:'F3',3:'F4','target':'target'})
data_iris.head()

 

数据预处理

重复值处理

 

# 重复值删除
data_iris = data_iris.drop_duplicates()

 

缺失值处理

 

# 缺失值处理
## 查看缺失值
data_iris.isnull().sum()
## 缺失值删除
### 删除含有缺失值的行  
data_iris = data_iris.dropna()  


### 删除含有缺失值的列  
data_iris = data_iris.dropna(axis=1)


##缺失值填补
### 用指定数值填充缺失值 ,如0
data_iris = data_iris.fillna(0)
### 用均值、中位数、众数填补
data_iris = data_iris.fillna(data_iris.mean())

 

异常值处理

 

# 异常值识别
## 分位数识别异常值,将上下四分位数之外的都定义为异常值


from scipy import stats  


### 计算IQR  
Q1 = data_iris.quantile(0.25)  
Q3 = data_iris.quantile(0.75)  
IQR = Q3 - Q1  


### 找出异常值  
lower_bound = Q1 - 1.5 * IQR  
upper_bound = Q3 + 1.5 * IQR  
outliers = data_iris[(data_iris < lower_bound) | (data_iris > upper_bound)]


## 标准差识别异常值,在几个标准差之外的数据定义为异常值 
z_scores = (data_iris - data_iris.mean()) / data_iris.std()  
outliers_z = z_scores[abs(z_scores) > 3]


# 异常值处理
# 异常值处理方式很多,如直接删除或用均值替代等,其与缺失值处理方式基本一致,就不再额外赘述。

 

分类变量编码

让不可计算的分类变量转化为可计算的数值或者矩阵

 

# label编码,将分类变量转化成数值形式
from sklearn.preprocessing import LabelEncoder
data_iris.iloc[:,-1] = LabelEncoder().fit_transform(data_iris.iloc[:,-1])
# onehot编码,创建虚拟变量,将分类变量转化成01矩阵
from sklearn.preprocessing import OneHotEncoder
X = data_iris.iloc[:,1:-1]
enc = OneHotEncoder(categories='auto').fit(X)
result = enc.transform(X).toarray()

 

连续变量编码

将连续变量离散化,使得其可以根据有区分效果。

 

# 二值化,大于阈值记为1,小于阈值记为0
from sklearn.preprocessing import Binarizer
X = data_iris.iloc[:,0].values.reshape(-1,1)               #类为特征专用,所以不能使用一维数组
transformer = Binarizer(threshold=30).fit_transform(X)
#transformer
# 分箱
from sklearn.preprocessing import KBinsDiscretizer
X = data_iris.iloc[:,0].values.reshape(-1,1) 
# n_bins设置要分几箱,默认为5;encode设置编码方式,默认onehot;
# strategy设置分箱方法,默认为quantile等位分箱(每箱样本数量相同),uniform等宽分箱,每个箱的上下限差值相同,kmeans聚类分箱
est = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='uniform')
est.fit_transform(X)
#查看转换后分的箱:变成了一列中的三箱
set(est.fit_transform(X).ravel())
est = KBinsDiscretizer(n_bins=3, encode='onehot', strategy='uniform')#查看转换后分的箱:变成了哑变量
est.fit_transform(X).toarray()

 

标准化

消除变量的量纲,使得特征变量的值都收敛于同一个范围。

 

# maxmin标准化
from sklearn.preprocessing import MinMaxScaler
#实现归一化
scaler = MinMaxScaler()                             
scaler = scaler.fit(data_iris)                           
result = scaler.transform(data_iris)                     


# z标准化
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()                           
scaler = scaler.fit(data_iris) 
result = scaler.transform(data_iris)

 

特征工程

业务理解

通过数据预处理,数据逻辑上的错误基本已经消除。但这是否就代表着可以建模了呢?当然不是,这里还需要对特征进行处理。

如果说数据预处理是对行数据进行操作,那么特征工程主要是对列进行操作。

而这其中,最重要的一步,是对特征的业务理解。如,某一个数据集有几列分别为地区,天气,降水量,空气湿度,用户年龄。

如果现在是要对天气情况进行分析,那么很明显,用户年龄这个特征字段对这个目标是没有用处的。因此从业务理解的角度考虑,首先就可以剔除一些没有错,但没有用的特征变量。

特征选择-过滤法

 

# 方差过滤
## 如果一个特征的方差很小,说明数据都集中于一个范围中,没有什么差异性,甚至都是相同的值,该特征用处就不大
from sklearn.feature_selection import VarianceThreshold
#获取删除不合格特征之后的新特征矩阵
X = VairanceThreshold().fit_transform(data_iris) 
# 相关性过滤
## 如果特征与标签之间没有相关性,则可以剔除该特征,如果特征与特征之间相关性很强,则可以将特征组合,实现降维
## 这里以卡方过滤为例,常见的还有F检验,互信息等
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.model_selection import cross_val_score
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
# k表示需要保留的特征个数
X_kafang = SelectKBest(chi2, k=3).fit_transform(data_iris.iloc[:,:-1], data_iris['target'])
## 至于k怎么取值,一方面是可以根据业务实际需要取,也可以通过学习曲线取学习曲线中最高点对应的k值
%matplotlib inline
import matplotlib.pyplot as plt
score = []
for i in range(3,0,-1):
    X_fschi = SelectKBest(chi2, k=i).fit_transform(data_iris.iloc[:,:-1], data_iris['target'])
    once = cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,data_iris['target'],cv=5).mean()
    score.append(once)
plt.plot(range(3,0,-1),score)
plt.show()

 

特征选择-嵌入法

将特征嵌入模型,让算法同时进行特征选择和模型训练,然后输出特征的权重参数值,通过排序选择有用的特征,这里没有一个统一的标准去判断权重参数达到什么标准可以剔除。且不同算法对参数读取的函数也略有不同,因此对本方法就不具体举例了。

特征选择-包装法

通过引入一个函数,来帮助算法在模型训练时自主选择特征,不需要人工判断参数值。该方法相对复杂,本文也不做举例。

三、 总结

本文简单介绍了数据分析过程中,数据预处理和特征工程的相关基础内容,并进行了一些举例。但其实这两部分内容远不是这么简单,在实际操作中,所遇到的问题更加复杂,且可应用的方法也非常多,本文所介绍的都是最基础的方法,便于理解其用途。

可以说数据分析结果好不好,很大程度取决于数据预处理和特征工程做的好不好。本文相对粗浅,感兴趣的朋友,可以再深入研究。

  审核编辑:汤梓红

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分