支持向量学习的多参数同时调节

　　模型选择是支持向量学习的关键问题．已有模型选择方法采用嵌套的双层优化框架，内层执行支持向量学习，外层通过最小化泛化误差的估计进行模型选择．该框架过程复杂。计算效率低．简化传统的双层优化框架，提出一个支持向量学习的多参数同时调节方法，在同一优化过程中实现模型选择和学习器训练．首先，将支持向量学习中的参数和超参数合并为一个参数向量，利用序贯无约束极小化技术（sequential unconstrained minimization technique，简称SUMT）分别改写支持向量分类和回归的有约束优化问题，得到多参数同时调节模型的多元无约束形式定义；然后，证明多参数同时调节模型目标函数的局部Lipschitz连续性及水平集有界性．在此基础上，应用变尺度方法（variable metric method，简称VMM）设计并实现了多参数同时调节算法，进一步地，基于多参数同时调节模型的性质，证明了算法收敛性，对比分析了算法复杂性．最后，实验验证同时调节算法的收敛性，并实验对比同时调节算法的有效性．理论证明和实验分析表明，同时调节方法是一种坚实、高效的支持向量模型选择方法．