统计学习理论及其研究进展

　　1 前言
　　 统计学习理论（statistical learning theory，简称slt[1]）是一种专门研究小样本情况下机器学习规律的理论，它为人们系统研究有限样本情况下的学习机器问题提供了有力的理论基础。统计学习理论系统地研究了经验风险和实际风险之间的关系，也即推广性的界。
　　
　　2 基本概念本文由论文联盟http://收集整理
　　 机器学习的问题就是从给定的函数集中选择出能够最好地逼近训练器响应的函数。机器学习问题可形式化地表示为：根据个独立同分布的观测样本，在一组函数中求出一个最优函数对训练器的响应进行估计，使期望风险最小，即其中，是未知的概率分布函数，为损失函数。
　　 对于未知的概率分布，若要最小化风险函数,只有样本的信息可以利用，这导致了定义的期望风险是无法直接计算和最小化的问题。根据概率论中大数定理的思想,人们用算术平均代替数学期望,于是定义了经验风险泛函：来逼近期望风险。用使经验风险最小的函数来代替使期望风险最小的函数，就是所谓的经验风险最小化(empirical risk minimization，简称erm)[1]原则。
　　
　　3 研究进展
　　 vapnik,cucker和smale[1]等人已经证明了，当样本数趋于无限时基于独立同分布序列学习机器的经验风险一致收敛到它的期望风险。对于基于独立同分布序列的学习机器的一致收敛速率的界的研究取得了很多的成果。
　　 定理1：对于具有有限vc维的指示函数集，下列两个不等式成立：
　　3.1 估计一致双边收敛速率的不等式
　　 其中为样本个数 3.2 估计相对一致收敛速率的不等式
　　 bousquet[2]利用函数集“大小”的测量新方法，即局部rademacher平均，得到了相对误差的泛化性能。
　　 定理2：
　　1、q为函数集，对于所有的，.当时，下述不等式以至少的概率成立。任意,
　　 2、q为函数集，对于所有的，.设是非负的，非递减函数。对于，是非增函数。
　　是方程的解。当时，下述不等式以至少的概率成立。
　　任意，
　　 以上结论都是基于独立同分布序列下对学习机器推广性能的研究。随着随机变量的相依性概念的提出，引起许多概率统计学家的兴趣和研究。对于基于相依序列下的学习机器推广性能的研究也取得了不少的研究成果。
　　 zou[3-5]研究了相依序列下采用erm算法的学习机器的推广性能。
　　定理3：
　　1、设是概率空间上的-混合序列，满足 假设对所有和，方差，则对任意，
　　 （5）
　　其中，为函数集q的覆盖数，n为样本个数。
　　2、设是概率空间上的-混合序列，满足 对于任意的，下述不等式以至少的概率对函数集q中的所有函数成立。
　　 其中， ，,n为样本个数。
　　 定理3建立了基于指数强混合序列的学习机器一致收敛和相对一致收敛的界。定理3中用覆盖数来度量函数集的容量。覆盖数，vc维和局部rademacher平均都是度量函数集容量的工具。对于实数集来说用覆盖数来度量更为合适，能够得到更好的界。