决策树
原理
选择当前最大信息增益的属性,作为决策字段。解决分类问题。
信息增益 信息熵 计算每个属性的信息熵,从而计算每个属性的信息增益,选择信息增益最大的属性,作为当前节点进行分类。
构建决策树
剪枝处理
避免过拟合
预剪枝
判断剪枝后正确率与剪枝前
后剪枝
连续与缺失值的处理
连续值处理
选择一个中间值作为划分
选择当前最大信息增益的属性,作为决策字段。解决分类问题。
信息增益 信息熵 计算每个属性的信息熵,从而计算每个属性的信息增益,选择信息增益最大的属性,作为当前节点进行分类。
避免过拟合
判断剪枝后正确率与剪枝前
选择一个中间值作为划分