决策树的构成要素及算法

　　决策树的构成要素

　　决策树是一种解决分类问题的算法，决策树算法采用树形结构，使用层层推理来实现最终的分类。决策树由下面几种元素构成：

　　根节点：包含样本的全集

　　内部节点：对应特征属性测试

　　叶节点：代表决策的结果

　　

　　预测时，在树的内部节点处用某一属性值进行判断，根据判断结果决定进入哪个分支节点，直到到达叶节点处，得到分类结果。

　　这是一种基于if-then-else规则的有监督学习算法，决策树的这些规则通过训练得到，而不是人工制定的。

　　决策树是最简单的机器学习算法，它易于实现，可解释性强，完全符合人类的直观思维，有着广泛的应用。

　　决策树的经典算法

　　1、ID3算法

　　ID3是最早提出的决策树算法，他就是利用信息增益来选择特征的。

　　2、C4.5算法

　　他是ID3的改进版，他不是直接使用信息增益，而是引入“信息增益比”指标作为特征的选择依据。

　　3、CART（ClassificationandRegressionTree）

　　这种算法即可以用于分类，也可以用于回归问题。CART算法使用了基尼系数取代了信息熵模