本文研究了凸优化理论在大规模机器学习中的应用,给出了基于Fenchel对偶理论的核Logistic回归并行分类算法(PDS)以及基于割平面理论的大间隔最近邻分类算法(LMNN_PCA)。 KLR的决策结果含有概率输出,多分类推广能力好,然而单机下的KLR分类算法依赖于每个训练数据集,因此不能处理大规模数据。核Logistic回归并行分类算法主要采用了对偶分解的思想,即先将训练集分割成若干子集,集群上的客户机对每个子集进行独立训练,利用消息传递的机制,在每一次训练结束服务器主机再对各客户机传递的消息进行汇总,再对各客户机提供修正解的消息,迭代训练即可得到大规模问题的解。主要解决了如何将大规模问题分解为多个子问题以及子问题的求解问题。 LMNN_PCA算法主要采用了割平面法,把大量约束条件的凸优化问题转化为小量约束条件的凸优化问题。 本文主要进行了以下工作： (1)给出了基于Fenchel对偶理论的核Logistic回归并行算法的理论推导以及对于子问题的处理方法。利用Fenchel对偶理论将大规模凸优化求解问题转化为中小规模凸优化求解问题。 (2)给出了基于Fenchel对偶分解原理的KLR分类并行算法的软件实现。先从功能图分析出软件中需要设计的类,然后给出了主程序的流程图(包括服务器端和客户端),紧接着,分析了软件实现中遇到的问题并给出了解决的方法。最后,还设计了一个拓扑结构网络,搭建实验平台,采用标准数据集进行实验。通过实验,得出KLR分类并行算法具有时间上的优越性。 (3)提出了基于割平面法的大间隔最近邻分类算法(LMNN_CPA)并通过实验证明了算法的可行性与优越性。因为主问题的约束条件很多,所以采用割平面法来求解主凸优化问题,从而大大降低了约束条件的数量。……
