深入理解机器学习——类别不平衡学习（Imbalanced Learning）：样本采样技术-[人工采样技术之SMOTE采样法及Borderline-SMOTE采样法]

深入理解机器学习——类别不平衡学习（Imbalanced Learning）：样本采样技术-[人工采样技术之SMOTE采样法及Borderline-SMOTE采样法]

分类目录：​​《深入理解机器学习》总目录​​

针对随机采样技术的缺点，人们陆续开发出了一些更为高级的采样算法，这类算法均或多或少地利用了样本的局部先验分布信息，并利用这些信息，通过人工干预的方式来移除多数类样本或添加人工合成的少数类样本，从而达到了提升分类性能的目的。在此，我们将此类算法统称为“人工采样技术”。本文及后续文章将对此类技术中最具代表性的五种算法做展开介绍。

SMOTE（Synthetic Minority Oversampling Technique）算法于2002年为Chawla等人所提出，主要用于解决ROS采样法易于陷入过适应的问题。不同于ROS算法，SMOTE算法不再简单地复制少数类样本，而是通过一定策略生成大量新样本的方式来谋求训练样本集类分布的平衡。当然，为了保证样本原始分布不被严重破坏，必须确定某种规则来保证新生成样本的合理性。一般而言，抛除噪声的因素不谈，我们所常见的样本集在属性空间中往往都存在以下特性：某类样本往往趋于出现在同类样本附近，即同类样本的邻域区间当中。

从上图中不难看出，采用SMOTE算法所新生成的样本往往都出现在少数类的决策空间内，从而足以保证其合理性。此外，新生成的样本与原始样本不再是简单的覆盖关系，这就可以保证经SMOTE算法处理后的训练集可近似逼近原始少数类样本训练集的分布，从而在一定程度上避免后期所训练的分类器出现过适应的现象。SMOTE算法的基本流程如下：

由于涉及大量的近邻关系运算，其时间复杂度过高当少数类样本中含有较多噪声信息时，SMOTE算法会受其干扰，将噪声信息进一步传播，从而影响到分类的性能由于每轮主样本的选取是完全随机的，故当少数类样本数较少时，可能会造成各原始少数类样本被选作主样本的频次差较大，从而偏离原始的样本分布。

Borderline-SMOTE采样法

Han等人注意到对分类面起决定作用的往往是那些处于分类边界上的样本，即处于类重叠区域或在这一区域附近的样本，因此，他们认为在全部少数类样本上运行SMOTE算法是没有必要的，只需要在边界区域生成新的少数类样本即可。他们所提出的改进算法为Borderline-SMOTE算法，即边界线SMOTE算法。在Borderline-SMOTE算法中，少数类样本被归为以下互不相交的三类：

安全样本：即远离边界区域，且处于少数类决策区域的样本边界样本：即处于决策边界附近的样本噪声样本：即远离边界区域，且处于多数类决策区域的样本。

下图给出了上述三类样本的判别示例：

在经过上述判别操作后，仅对DANGER集中保留的少数类样本进行SMOTE操作即可，所生成的新样本均处于决策边界附近。特别地，Borderline-SMOTE算法有两个不同的版本，可分别将其命名为BSO1算法及BSO2算法，它们的具体流程分别描述如下：

Borderline-SMOTE算法有效地克服了SMOTE算法的第2个缺点，即可有效规避原始噪声信息在新样本集上的传播，从而在一定程度上提升了SMOTE算法的分类性能。但同时，由于在计算K近邻时，加入了全部多数类样本的信息，这也将不可避免地进一步增加了算法的时间开销。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。