支持向量机递归特征消除(下文简称SVM-RFE)是由Guyon等人在对癌症分类时提出来的，最初只能对两类数据进行特征提取。它是一种基于Embedded方法。

支持向量机

支持向量机广泛用于模式识别，机器学习等领域，SVM采用结构风险最小化原则，同时最小化经验误差，以此提高学习的性能。详细的SVM介绍请看我的另一篇博文 《 线性支持向量机》

在这简单介绍一下SVM。
设训练集 min \quad \frac{1}{2}||\omega||^2+C\Sigma_{i=1}^N\xi_i\\ s.t.\quad y_i(\omega\cdot x_i+b)\ge 1-\xi_i,i=1,2,...,N\\ \xi_i\ge0,i=1,2,...,N m i n 2 1 ​ ∣ ∣ ω ∣ ∣ 2 + C Σ i = 1 N ​ ξ i ​ s . t . y i ​ ( ω ⋅ x i ​ + b ) ≥ 1 − ξ i ​ , i = 1 , 2 , . . . , N ξ i ​ ≥ 0 , i = 1 , 2 , . . . , N

而原始问题可以转化为对偶问题：
min\quad \frac{1}{2}\Sigma_{i=1}^N\Sigma_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\Sigma_{i=1}^N\alpha_i\\ s.t.\quad \Sigma_{i=1}^Ny_i\alpha_i=0\\ 0\le \alpha_i\le C,i=1,2,...,N m i n 2 1 ​ Σ i = 1 N ​ Σ j = 1 N ​ α i ​ α j ​ y i ​ y j ​ ( x i ​ ⋅ x j ​ ) − Σ i = 1 N ​ α i ​ s . t . Σ i = 1 N ​ y i ​ α i ​ = 0 0 ≤ α i ​ ≤ C , i = 1 , 2 , . . . , N
其中， min\quad \frac{1}{2}\Sigma_{i=1}^N\Sigma_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\Sigma_{i=1}^N\alpha_i m i n 2 1 ​ Σ i = 1 N ​ Σ j = 1 N ​ α i ​ α j ​ y i ​ y j ​ ( x i ​ ⋅ x j ​ ) − Σ i = 1 N ​ α i ​ 训练SVM分类器，得到 \qquad\cdots \qquad\cdots\qquad\cdots\qquad\cdots\qquad\cdots\qquad\cdots\qquad\cdots\qquad\cdots ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯
{\{(x_i,y_i)\}_{i=1}^{N_l-1+N_{l}},j=\frac{l(l-1)}{2}-1,...,\frac{l(l-1)}{2};当v_i=l-1时,y_i=1,当v_i=l,y_i=-1} { ( x i ​ , y i ​ ) } i = 1 N l ​ − 1 + N l ​ ​ , j = 2 l ( l − 1 ) ​ − 1 , . . . , 2 l ( l − 1 ) ​ ; 当 v i ​ = l − 1 时 , y i ​ = 1 , 当 v i ​ = l , y i ​ = − 1
3）循环一下过程直至S=[]:
支持向量机递归特征消除(下文简称SVM-RFE)是由Guyon等人在对癌症分类时提出来的，最初只能对两类数据进行特征提取。它是一种基于Embedded方法。支持向量机支持向量机广泛用于模式识别，机器学习等领域，SVM采用结构风险最小化原则，同时最小化经验误差，以此提高学习的性能。详细的SVM介绍请看我的另一篇博文《 线性支持向量机》在这简单介绍一下SVM。 设训练集{(xi,yi)}Ni=1\{(