每日一课 | 智慧灯杆之大数据预处理技术介绍

 

2．大数据预处理技术

大数据预处理技术主要完成对已接收数据的辨析、抽取、清洗等操作。

（1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。

（2）清洗：大数据并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此，要对数据进行过滤“去噪”，从而提取出有效数据。