本文主要研究了基于非参数方法的分类模型交叉验证结果比较,主要是对实例通过非参数的方法进行模型比较的假设检验,检验两分类模型是否存在显著差异。模型的真实泛化误差是一个较为科学的模型比较标准,对于分类模型而言,模型的真实泛化误差表现为分类模型的误判率,而基于交叉验证得到的结果是模型误判率的一个优良估计,可以通过交叉验证结果对模型进行比较。交叉验证结果是随机变量,存在分布,而对于此随机变量而言,其分布是很难观测的,因此,对于交叉验证结果的比较,本文通过非参数的方法进行模型比较的假设检验,检验两分类模型是否存在显著差异。
对于因变量为分类变量的数据进行建模,有多种建模方法。有基于统计的方法、基于机器学习的方法等等。在对数据进行建模分析时,模型对于新数据的泛化能力是评价模型好坏的一个重要标准。因此,对模型的比较,较为科学的方法应是对其泛化能力进行比较。事实上,如果己知产生数据的真实模型,那么使用不同的模型对数据进行建模,与真实模型进行比较,理论上可以得到不同模型的真实泛化误差,用以衡量、比较各模型泛化能力。然而,由于真实模型不可观测,用于建模的各个模型的真实泛化误差是不可得的,只有使用真实泛化误差的估计对各模型进行比较。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !