基于二重区间内随机阈值的标签噪声过滤算法

胡晓慧*

（北京邮电大学计算机学院，北京市，100876）

2.02.02.02.02.0School of Computer Science,Beijing University of Posts and Telecomunications, Beijing,100876北京邮电大学计算机学院，北京市，1008761008761304102063013041020630北京市海淀区西土城路10号北京邮电大学hxh_huxiaohui@qq.com胡晓慧（1996年-），女，主要研究方向：音频大数据胡晓慧HU Xiaohui胡晓慧 2.02.02.02.02.02.02.02.02.02.02.02.02.02.02.02.01*|*期刊*|*B. Frenay and M. Verleysen, Classification in the Presence of Label Noise: A Survey[J]. IEEE Transactions on Neural Networks and Learning Systems, May 2014, vol. 25, no. 5, pp. 845-869. <CR>2*|*期刊*|*Segata, N., Blanzieri, E., Delany, S.J. et al. Noise reduction for instance-based learning with a local maximal margin approach[J]. Intell Inf Syst 35, 2010, 301–331.<CR>3*|*论文集*|*Goldberger, J. and E. Ben-Reuven. Training deep neural-networks using a noise adaptation layer.[A] International Conference on Learning Representations 2017[C].Toulon, France.<CR>4*|*论文集*|*Han, B. et al. Co-teaching: Robust training of deep neural networks with extremely noisy labels.[A] Conference on Neural Information Processing Systems 2018[C]. Montréal, Canada.<CR>5*|*论文集*|*Zhilu Zhang and Mert R. Sabuncu. 2018. Generalized cross entropy loss for training deep neural networks with noisy labels.[A] In Proceedings of the 32nd International Conference on Neural Information Processing Systems NIPS'18 Curran Associates Inc.[C], Red Hook, NY, USA, 8792–8802.<CR>6*|*期刊*|*Sluban, B., Gamberger, D. & Lavrač, N. Ensemble-based noise detection: noise ranking and visual performance evaluation[J]. Data Min Knowl Disc 28, 265–303 (2014).<CR>7*|*论文集*|*T. Iqbal, Y. Cao, Q. Kong, M. D. Plumbley and W. Wang, Learning With Out-of-Distribution Data for Audio Classification[A]. ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)[C], Barcelona, Spain, 2020, pp. 636-640.<CR>8*|*期刊*|*Y. Wei, C. Gong, S. Chen, T. Liu, J. Yang and D. Tao, Harnessing Side Information for Classification Under Label Noise[J].IEEE Transactions on Neural Networks and Learning Systems, Sept. 2020, vol. 31, no. 9, pp. 3178-3192.<CR>9*|*期刊*|*Jingjing Cao, Sam Kwong, Ran Wang.A noise-detection based AdaBoost algorithm for mislabeled data[J].Pattern Recognition,Volume 45, Issue 12,2012, pp.4451-4465.<CR>10*|*期刊*|*B. Nicholson, J. Zhang, V. S. Sheng and Z. Wang, Label noise correction methods[J]. 2015 IEEE International Conference on Data Science and Advanced Analytics (DSAA), Paris, 2015, pp. 1-9.<CR>11*|*期刊*|*张增辉 姜高霞 王文剑. 基于局部概率抽样的标签噪声过滤方法[J]. 计算机应用, 0, (): 0-0.<CR>12*|*期刊*|*Zhang, J., Wu, X. & Sheng, V.S. Learning from crowdsourced labeled data: a survey[J]. Artif Intell Rev,2016, 46, 543–576.<CR>13*|*论文集*|*Vilela, André L.M. & de Souza, Adauto J.F.Majority-vote model with a bimodal distribution of noises in small-world networks[A]. Physica A: Statistical Mechanics and its Applications, Elsevier, 2017, vol. 488(C), pages 216-223.<CR>14*|*期刊*|*XIE S Y,Guo L,Analysis of Normalized Least Mean Squares-Based Consensus Adaptive Filters under a General Information Condition[J].Society for Industrial and Applied Mathematics,2018, 56(5), 3404–3431.<CR>15*|*论文集*|*Chiyuan Zhang and Samy Bengio and Moritz Hardt and Benjamin Recht and Oriol Vinyals.Understanding deep learning requires rethinking generalization[A]. International Conference on Learning Representations(ICLR) 2015[C].<CR>16*|*论文集*|*J. Huang, L. Qu, R. Jia and B. Zhao, O2U-Net: A Simple Noisy Label Detection Approach for Deep Neural Networks[A] IEEE/CVF International Conference on Computer Vision (ICCV)[C], Seoul, Korea (South), 2019, pp. 3325-3333.<CR>17*|*期刊*|*陈庆强, 王文剑, 姜高霞. 基于数据分布的标签噪声过滤[J]. 清华大学学报(自然科学版), 2019, 59(4): 262-269.基于二重区间内随机阈值的标签噪声过滤算法|Filtering algorithm based on random threshold in double interval for noise label|*|1|胡晓慧|HU Xiaohui|北京邮电大学计算机学院，北京市，100876|School of Computer Science,Beijing University of Posts and Telecomunications, Beijing,100876|胡晓慧（1996年-），女，主要研究方向：音频大数据|北京市海淀区西土城路10号北京邮电大学|100876|hxh_huxiaohui@qq.com|13041020630|13041020630

摘要：近年来监督学习被广泛地应用到各个领域，而常见的数据集往往包含大量标签噪声。而标签噪声的存在，容易导致模型过拟合，泛化能力差等。现有的标签噪声过滤算法虽然在一定程度上可以解决上述问题，但是仍存在识别能力较差、过滤效率低等问题。针对这些问题，本文提出了二重区间内随机阈值划分算法，将样本训练早期的损失值作为类别区分的依据，在一重设定区间内，利用相邻样本差值最大和次大值构建二重区间，缩小随机阈值的边界范围，增加随机阈值的可靠度。同时考虑到单一阈值导致的误差性，基于集成学习的思想引入了多次随机阈值划分的方法，模糊了阈值的界限，增加了过滤结果的可靠度。在CIFAR10数据集上的实验结果表明，在标签噪声存在的情况下，所提方法在较高噪声率情况下有较好的噪声样本识别能力。

关键词：标签噪声；损失值；噪声过滤；集成学习

中图分类号：TP181

Filtering algorithm based on random threshold in double interval for noise label

HU Xiaohui

(School of Computer Science,Beijing University of Posts and Telecomunications, Beijing,100876)

Abstract: In recent years, supervised learning has been widely used in various fields, and common data sets often contain a lot of label noise. The presence of label noise easily leads to model over-fitting and poor generalization ability. Although the existing label noise filtering algorithm can solve the above problems to a certain extent, it still has problems such as poor recognition ability and low filtering efficiency. In response to these problems, this paper proposes a random threshold division algorithm in the double interval, which uses the loss value of the sample training early as the basis for classification. Interval, narrow the boundary range of the random threshold, and increase the reliability of the random threshold. At the same time, considering the error caused by a single threshold, based on the idea of integrated learning, a method of multiple random threshold divisions is introduced, which blurs the boundaries of the threshold and increases the reliability of the filtering results.The experimental results on the CIFAR10 data set show that in the presence of label noise, the proposed method has better noise sample recognition ability under the condition of higher noise rate

Key words: noise label; loss value; noise filtering; integrated learning

引言

近年来机器学习取得了巨大的发展，特别是监督学习结合神经网络的方法被广泛地应用到各个领域。但是监督任务的表现效果极大地依赖于数据集的质量，而大规模的正确人工标记数据往往意味着巨额的成本。因此众包、爬虫、外部信息分析等方法常被应用到数据的收集中。众包方法仍需要人工参与带来较大成本，同时存在标记人员因专业无关性或人工失误导致标记数据的错误的情况。此外，爬虫、外部信息分析等方式由于信息易被篡改，同样无法保证标签的正确性。以上原因都会导致数据中包含一定比例的噪声。常说的噪声可以分为特征噪声和标签噪声两类，不同的地方在于前者指的是错误出现在特征内，后者则指标签部分的数据错误。噪声会对模型的构建和训练产生影响，标签噪声通常比特征噪声产生的负面影响更大[1]。具体来说，它会导致模型复杂度的增加、分类精度的下降，同时使模型过于拟合噪声样本[2]。因此，标签噪声的过滤研究具有较大的实用价值，也是近些年来学者们关注的机器学习问题之一。

针对噪声过滤问题本文提出了基于二重区间的随机阈值标签噪声过滤算法RTD（Random Threshold in Double Interval），充分利用模型的训练特性，依据训练过程中的损失值进行样本类别的分类。需要注意的是，这里的类别指的是样本类别，即干净样本或噪声样本，需要与标签类别区分开。不同类别样本的分类阈值在单次分类时使用二重区间内随机确定的方式，在一重限定区域内利用损失值差异对限定区域进行缩减，避免了单一阈值的不可靠性。同时，借用集成学习的思想，在早期的多轮训练中获取样本的损失值，通过随机阈值进行样本的分类。利用多次分类样本的结果进行标签噪声的过滤。与已有算法相比，本文提到的算法充分考虑了模型和样本的训练特征，利用训练过程中的信息对样本进行分类减少了样本类别估计过程中的时间损耗，同时通过集成学习的思想和多次随机阈值的选用避免了单一阈值的不准确性。

研究现状

现有的针对标签噪声过滤问题的研究方法主要分为两个方面，算法层面对标签噪声鲁棒性网络模型的构建和数据层面的针对样本类别预测的噪声过滤器的构建。构建对标签噪声具有鲁棒性的网络模型主要是从网络结构、损失函数、损失值处理等方面入手[3][4][5]，如设置两个相同的神经网络相互指导，学习对方的损失值以免陷入过拟合从而达到增加鲁棒性的目的[4]；融合了MAE的鲁棒性和CCE的权重优势构建通用的鲁棒性损失函数GCE[5]等。但是这种构建鲁棒性模型的方法具有不确定性，在网络训练过程中模型对噪声样本的学习程度是不可知的。因此，针对样本类别构建标签噪声过滤器的处理方法更为常见，特别地，将构建噪声过滤器的方法作为训练流程的预处理步骤与构建噪声鲁棒性模型的方法相结合是较为实用的处理方法[6]。

标签噪声过滤器依据其针对疑似噪声标签的处理可以分为两类，分别是噪声样本移除[7]和噪声样本重标记[8]，两种方法的目的都是为了提高样本标签的可靠度。考虑到操作效率，样本移除的方法比样本重标记的方法更常见，但是在样本移除过程中可能出现过度移除的问题，即移除的噪声样本远大于原有噪声样本规模。因此在衡量噪声样本移除方法时除了考虑方法的精确度外还要考虑方法的召回率。

聚类是常用的进行噪声样本识别的方法[9][10]，当存在部分干净样本时，可以通过计算样本与各类别干净样本间的距离判断样本类别。如Nicholson 等[10]提出 STC 算法来查询训练过程中的标签噪声，该算法是基于聚类实现的，通过比较在一个类簇中的样本与聚类中心样本的距离来判断其是标签噪声的概率。近年来基于置信度的分类方式中也引入了随机森林和神经网络等网络模型。但是基于置信度的方法需要在模型学习完成后才能得到结果，时间消耗较大，同时模型学习结果对训练样本的依赖较大。

此外,单次划分可能出现误差，因此集成学习逐渐被运用到标签噪声处理中[9][11][12]。集成学习在标签噪声中的应用主要是通过整合多个同质或异质的弱学习器的分类情况，然后采用投票的原则确定标签噪声，以达到强学习的目的。其中投票去噪的方法可以分为两种，多数投票[13]，即超过半数分类器的分类结果显示样本为噪声即认为样本为噪声和一致性投票[14]，即只有当全部分类器的分类结果认为样本为噪声该样本才被移除或重标记。相对于多数投票来说，一致投票更加保守，多数投票更容易剔除较多的分类结果显示为噪声的样本。

RTD算法

本文提出的RTD算法以模型训练早期样本的损失函数值为依据进行样本类别的划分，不同类别样本分类的基准为二重区间内随机阈值。在多轮训练中构建多组由不同随机阈值划分得到的样本组合，通过集成学习进行最终的疑似干净样本的保留，即噪声的过滤。需要注意的是，本文提出的方法不直接对噪声进行处理，而是针对疑似干净样本的保留达到噪声过滤的目的。

二重区间内随机阈值划分

网络的训练过程一般是从欠拟合逐渐过渡到过拟合。在训练的前期，网络的收敛速度比较快，因为网络倾向于先学习简单样本，即容易训练的干净样本。而在训练的后期，网络才倾向于学习较难学习的样本，如噪声样本等。然而，由于网络的学习能力比较强，当训练轮次足够多，在训练的后期会逐渐拟合每一个样本，这样会导致噪声样本也会被学习[15]，从而导致网络的性能下降。这也是噪声样本在模型训练中带来的主要问题之一。

在训练的前期，网络能很好地拟合干净样本，所以噪声样本的损失值会比干净样本的损失值大，损失值差距比较明显[16]。同时在训练的后期，网络逐渐拟合噪声样本，所以噪声样本和干净样本之间损失值差距不再那么明显，不具有明显的可分性。因此，通过记录样本在训练早期的损失值，可以达到区分样本类别的目的。特别地，使用损失值的方法能够兼容任意网络模型，和使用置信度方法在模型的广泛可用性上相当，同时还能减少模型训练的轮次，降低时间成本。

在对样本进行损失值获取后，对于每个样本e<xi,yi>都有一个损失值lossi，其中干净样本的损失值lossc一般较低，而噪声样本的损失值lossn一般较高。需要注意的是和使用置信度的方法不同，损失值并不具有固定的区间，在不同轮次的训练过程中可能会有不同的损失值结果。因此使用的阈值不应当是单纯的数值型阈值，而应当是比例阈值，范围为[0,1]，即阈值在整个数值区间的比例位置。因此，需要针对样本损失值lossi依据绝对值大小进行排序。

在传统的划分机制中，多使用单一固定阈值进行样本类别划分[17]。但是这样的方法会导致样本之间的类别不够细化，特别是阈值附近的损失值容易出现预测偏差的问题。因此本文通过多次随机抽取模糊阈值界限，避免由于明确界限导致的误分问题。

图1 一重区间内随机阈值数据划分示意图

Fig. 1 Schematic diagram of random threshold data division in a single interval

理论来说随机抽取的阈值r为[0,1]区间中的任意值，但是由于0，1属于边界值，所以在随机阈值设置过程中会出现样本类别区分的极端情况，即划分结果全部为干净样本，或全部为噪声样本。因此，本文从理论区间[0,1]中进行一次筛选区间[m,n]的设置。区间[m,n]为区间[0,1]的子区间，即0<m<n<1。在一重区间随机阈值中r为区间[m,n]中的任意值，比例阈值小于r的样本被看作是干净样本Dc，大于等于r的样本被看作是噪声样本Dn，如图1所示。需要注意到的是，由于r∈[m,n]，因此小于m的值一定小于r，大于n的值一定大于r。所以此方法也可看做是基于m，n的分段函数。当m的取值偏小时，r取值偏小的概率增加，此时筛选的疑似干净样本数量较少，准确率较高。当m的取值偏大时，r取值偏小的概率增加，此时筛选的疑似干净样本数量较多，可靠度相对较低。

考虑到r的取值过分依赖于超参m,n的设定，且当m,n相差较大时单次r取值接近合理边界值的概率变低，二重区间内随机阈值的方法在[m,n]区间基础上构建二重区间[p,q]。区间[p,q]为区间[m,n]的子区间，即p>m,q<n。p的值为有序损失值数组相邻样本差值次大的样本在整个有序数组中的位置，p的值为有序损失值数组相邻样本差值最大的样本在整个有序数组中的位置。

图2 二重区间值获取算法

Fig. 2 Double interval value acquisition algorithm

假设L为有序损失值向量，可表示为公式1，其中li表示第i个位置的样本的损失值。

(1)

假设D为L中相邻样本的差值构成的差值向量，可表示为公式2，其中di与li的关系如公式3所示。p为di值次大时，i/n的值，同理q为di值最大时，i/n的值。

(2)

(3)

图3 二重区间内随机阈值数据划分示意

Fig. 3 Schematic diagram of random threshold data division in the double interval

由于噪声样本的损失值较大，不同噪声样本间损失值的差值也相对较大。为了避免di的最大值和次大值都在损失值较大的样本处，本方法设定了新的排序策略，仅当di+1>2di，才看作di+1的值相对di大，算法流程如图2所示，通过此约束限制p,q取值可靠。示意图如图3所示，此时随机阈值r的取值范围从区间[m,n]缩减到[p,q]，比例阈值小于r的样本被看作是干净样本Dc，大于等于r的样本被看作是噪声样本Dn。

多轮集成学习

单一阈值的样本类别划分存在偶然性，可能导致误差，通过区间内多次随机抽取阈值构建不同的数据划分组合。经过N次在区间[m,n]内的随机抽取，共获得N组数据划分情况，可表示为公式4，其中Dci,Dni均为不定长数组。

(4)

在基于集成学习的标签噪声过滤算法中，一致性投票和多数投票是共识法中常用的两种投票策略，主要差别在于共识强度的不同上。在置信度方法中投票可以理解为样本预测标签和实际标签的匹配度，在本方法中投票指的是样本di在整个数据划分D中出现在Dci数据集中的次数。多数投票指的是在N个数据划分组中，di出现在Dci数据集中的次数count可表示为公式5，当c=2时，count即可表示多数的概念。

(5)

同时，如果要对多数进行更细致的定义，则可以通过调整c的值进行设定。特别地，当c=1时，count=N表示为一致性投票。

一致性投票相当于针对每一次的划分结果取交集，导致投票结果过度依赖每一次的划分情况。对任意一次的分类异常敏感，在鲁棒性上表现较差。而多数投票的方法，即c=2时的count计数方法会增加最终投票结果的不可靠性。因此本文通过调整c的取值达到混合一致性投票和多数投票的目的。在实验过程中将c赋值为1.25，即以80%及以上的相同投票情况为准。通过减少异常样本对划分情况造成的影响，增加投票结果的可靠性。

RTD算法整体步骤及复杂度描述

RTD算法主要由二重区间内随机阈值的划分和大多数投票的多轮集成学习策略两个部分组成，主要步骤可以总结为图4。

图4 RTD算法

Fig. 4 RTD algorithm

RTD算法的主要时间在于模型训练过程中每个样本损失值的获取。由于模型的训练时间长短与样本个数和模型规模有关，假设一轮训练n个样本的耗时是tm=m(n)，其中m表示该模型下训练样本的耗时函数。因此训练的时间复杂度为O(epoch*m(n))，epoch表示模型训练的轮次。汇总投票时间可以看做是针对多次实验得到的疑似干净样本的遍历操作，疑似干净样本为总样本n的倍数，因此汇总投票的时间复杂度为O(epoch*n)。确定投票结果的操作步骤为所有样本的遍历操作，因此确定投票结果的时间复杂度为O(n)。因此整个算法的时间复杂度为公式6所示。

(6)

由于在算法执行前训练轮次epoch需要作为已确定参数传入，因此epoch可以看做是常量。当模型确定时，m(n)可以看做是与n相关的正比例函数，因此整个算法的时间复杂度可以简写为公式7所示。

(7)

实验结果及分析

实验数据及指标

本文使用的数据集为开源图片数据集CIFAR10。CIFAR10数据集由10类共计60000个32*32的彩色图像构成，每一类的图片数量相同均为6000个，训练集共计50000个，测试集共计10000个。CIFAR10数据集是干净数据集，实验过程中的噪声数据需要通过修改标签的值进行手动构造。这里本文构造的是均匀噪声，即噪声标签随机分布，干净样本与噪声样本之间并不存在潜在的映射关系。

为了探寻不同噪声比例下RTD算法的表现情况，本文以CIFAR10数据集为基准按照10%、20%、30%、40%、50%、60%、70%、80%、90%的比例随机修改了对应数据的标签值构造噪声数据。考虑到实际生产生活中噪声样本的含量相对较少，因此过滤区间参数选用[0.4,0.8]。此次试验使用的网络为ResNet50，损失函数为交叉熵损失函数，标签噪声过滤过程为10轮，即使用10个划分结果进行集成学习。

为了衡量RTD噪声过滤算法的性能，使用如公式8定义的精确率P、如公式9定义的召回率R，两个指标进行衡量。

(8)

(9)

其中TP表示将干净样本划分为干净样本的个数，FP为将噪声样本划分为干净样本的个数，FN为将干净样本划分为噪声样本的个数，TN为将噪声样本划分为噪声样本的个数。其中精确率P用来衡量过滤样本的纯度，量化了过度过滤的情况，为后续的过滤后干净样本的使用提供了指导作用；召回率R用来衡量干净样本过滤时的遗漏情况。

实验结果及分析

损失值可行性实验及分析

本节中的实验首先探究了损失值的可区分性。令样本的噪声率依次从10%到90%不等，模型共训练10轮，通过干净样本平均损失值和噪声样本平均损失值之间的差异程度来判断通过损失值进行样本类别划分是否可行。同时探究当噪声率达到何种程度时，损失函数值不具备可分性。实验情况记录为表1。

表1 各噪声率下不同类别样本平均损失值

Tab. 1 Average loss of samples of different categories under each noise rate

噪声率	干净样本平均损失值	噪声样本平均损失值	不同类别样本平均损失值差值
10%	11.628	105.673	94.045
20%	9.455	68.032	58.577
30%	8.021	46.814	38.793
40%	6.569	30.177	23.608
50%	5.150	19.617	14.467
60%	3.601	10.287	6.686
70%	2.222	5.079	2.857
80%	1.755	2.412	0.657
90%	1.914	1.887	-0.027

注： 这里的噪声指的是随机噪声

通过图表可以看出当噪声率在70%以下时，干净样本平均损失值和噪声样本平均损失值相差较大，在训练过程中可以通过损失值进行样本类别的划分，特别地噪声率越小理论上通过损失函数值划分的方法越有效。由于置信度的取值在[0,1]之间，因此不同样本类别的置信度差值不会超过1。对比使用置信度进行样本划分的方法，使用损失值的方法在噪声率小于70%的情况下能保证差值在1以上，具有强可分性。当噪声率大于80%时，干净样本平均损失值和噪声样本平均损失值差异较小因此通过损失值进行样本类别区分难度较大。

标签噪声过滤实验及分析

本节实验主要在探究区间内随机阈值相对单一阈值在干净样本提取上的表现。从提取干净样本的准确率和召回率两个方面讨论不同方法的效果。此外，考虑到在实际生产生活中数据集的噪声率是未知的，因此整合不同噪声率下不同方法的表现情况更有实际意义。实验情况记录为表2。

表2 各噪声率下不同划分类别方式的精确率和召回率

Tab. 2 Accuracy and recall rates of different classification methods under various noise rates

噪声率	二重区间随机阈值	一重区间随机阈值	单一阈值0.4	单一阈值0.6	单一阈值0.8
P	R	P	R	P	R	P	R	P	R
10%	0.998	0.626	0.998	0.418	0.994	0.033	0.999	0.44	0.995	0.816
20%	0.989	0.678	0.992	0.429	0.988	0.052	0.993	0.511	0.965	0.899
30%	0.965	0.675	0.963	0.526	0.961	0.096	0.971	0.620	0.879	0.942
40%	0.920	0.665	0.909	0.548	0.899	0.142	0.900	0.678	0.764	0.950
50%	0.823	0.516	0.803	0.574	0.791	0.178	0.786	0.696	0.650	0.946
60%	0.633	0.475	0.616	0.537	0.606	0.171	0.605	0.639	0.510	0.913
70%	0.428	0.465	0.418	0.431	0.406	0.157	0.424	0.585	0.373	0.873
80%	0.266	0.329	0.265	0.474	0.271	0.187	0.264	0.518	0.236	0.794
90%	0.103	0.380	0.101	0.381	0.097	0.167	0.102	0.434	0.101	0.716
平均值	0.681	0.534	0.674	0.480	0.668	0.131	0.672	0.569	0.608	0.872

通过表2的实验数据可以看出，二重区间随机阈值的方法在针对各噪声率取平均的时候最好，相对于一重区间随机阈值的方法，不仅在精确率上提高了近1%，同时在召回率指标中提高了5%，意味着至少在相同的精确率下，能保证识别到更多的干净样本。对比其他固定阈值的方法，平均精确率提升1.5%~7.3%不等。

此外，从固定单一噪声率的角度看，当噪声率较低，即小于等于30%时，使用单一阈值为0.6时，干净样本识别精度较高，但和其他方法相差不大。主要是由于干净样本和噪声样本在低噪声率下的损失值差异较大，因此可区分性明显，所以精确率的整体水平较高。特别是与二次区间随机阈值的方法相比，精确率差异均在1%以内。而此时，使用二重区间随机阈值的方法，能在保证高精度的同时提高召回率，筛选出更多的样本，有利于干净样本的保留。

当噪声率较高，即大于等于80%时，通过实验结果可以看出各个方法精度，相差不大。除单一阈值0.8方法之外，其他方法精确率差异在1%之内，这是由于当阈值设置为固定值0.8之后，会保留部分样本，保留样本数量远超过实际干净样本数量，因此筛选后数据中含有大量噪声数据导致精确率降低。特别地，由于噪声率达到80%及以上后干净样本平均损失值和噪声样本平均损失值差异较小，区分难度较大，因此基于损失函数划分的各方法精度均较差。现实生活中噪声率如此高的数据集需要先经过数据清洗，根据数据逻辑删除掉一批明显的噪声样本再投入到针对数据逻辑不可知的标签噪声清洗中。

当噪声率处于40%~70%时，所提二重区间随机阈值的方法相较其他方法在精确率上能带来0.4%~17.3%不等的效果提升。特别地，相对于一重区间随机阈值的方法，提升效果是1.1%~2%不等。主要原因是由于二重区间的设置，减少了随机阈值的随机范围，使其在未知噪声率的情况下，合理预估干净样本占比情况，增加有效阈值出现的概率从而提高识别精度。

结论

本文提出的二重区间内随机阈值划分算法，充分利用模型训练时针对不同类别样本的学习策略，以样本训练早期的损失值为基本数据进行样本类别的区分，在一重设定区间内，利用相邻样本差值最大和次大值构建二重区间，缩小随机阈值的边界范围，增加随机阈值的可靠度。同时考虑到单一阈值导致的误差性基于集成学习的思想引入了多次随机阈值划分的方法，模糊了阈值的界限，增加了过滤结果的可靠程度。特别地，在实际生产生活中样本噪声率不可知的情况下，区间内随机阈值划分方法具有相对较高的准确率和召回率。但是训练轮次目前仍是人为手工定义，如何针对数据集特点、模型网络结构进行自动化的定义是后续需要探索和研究的内容。

[参考文献] (References)

[1] B. Frenay and M. Verleysen, Classification in the Presence of Label Noise: A Survey[J]. IEEE Transactions on Neural Networks and Learning Systems, May 2014, vol. 25, no. 5, pp. 845-869.
[2] Segata, N., Blanzieri, E., Delany, S.J. et al. Noise reduction for instance-based learning with a local maximal margin approach[J]. Intell Inf Syst 35, 2010, 301-331.
[3] Goldberger, J. and E. Ben-Reuven. Training deep neural-networks using a noise adaptation layer.[A] International Conference on Learning Representations 2017[C].Toulon, France.
[4] Han, B. et al. Co-teaching: Robust training of deep neural networks with extremely noisy labels.[A] Conference on Neural Information Processing Systems 2018[C]. Montréal, Canada.
[5] Zhilu Zhang and Mert R. Sabuncu. 2018. Generalized cross entropy loss for training deep neural networks with noisy labels.[A] In Proceedings of the 32nd International Conference on Neural Information Processing Systems NIPS'18 Curran Associates Inc.[C], Red Hook, NY, USA, 8792-8802.
[6] Sluban, B., Gamberger, D. & Lavrač, N. Ensemble-based noise detection: noise ranking and visual performance evaluation[J]. Data Min Knowl Disc 28, 265-303 (2014).
[7] T. Iqbal, Y. Cao, Q. Kong, M. D. Plumbley and W. Wang, Learning With Out-of-Distribution Data for Audio Classification[A]. ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)[C], Barcelona, Spain, 2020, pp. 636-640.
[8] Y. Wei, C. Gong, S. Chen, T. Liu, J. Yang and D. Tao, Harnessing Side Information for Classification Under Label Noise[J].IEEE Transactions on Neural Networks and Learning Systems, Sept. 2020, vol. 31, no. 9, pp. 3178-3192.
[9] Jingjing Cao, Sam Kwong, Ran Wang.A noise-detection based AdaBoost algorithm for mislabeled data[J].Pattern Recognition,Volume 45, Issue 12,2012, pp.4451-4465.
[10] B. Nicholson, J. Zhang, V. S. Sheng and Z. Wang, Label noise correction methods[J]. 2015 IEEE International Conference on Data Science and Advanced Analytics (DSAA), Paris, 2015, pp. 1-9.
[11] 张增辉 姜高霞 王文剑. 基于局部概率抽样的标签噪声过滤方法[J]. 计算机应用, 0, (): 0-0.
[12] Zhang, J., Wu, X. & Sheng, V.S. Learning from crowdsourced labeled data: a survey[J]. Artif Intell Rev,2016, 46, 543-576.
[13] Vilela, André L.M. & de Souza, Adauto J.F.Majority-vote model with a bimodal distribution of noises in small-world networks[A]. Physica A: Statistical Mechanics and its Applications, Elsevier, 2017, vol. 488(C), pages 216-223.
[14] XIE S Y,Guo L,Analysis of Normalized Least Mean Squares-Based Consensus Adaptive Filters under a General Information Condition[J].Society for Industrial and Applied Mathematics,2018, 56(5), 3404-3431.
[15] Chiyuan Zhang and Samy Bengio and Moritz Hardt and Benjamin Recht and Oriol Vinyals.Understanding deep learning requires rethinking generalization[A]. International Conference on Learning Representations(ICLR) 2015[C].
[16] J. Huang, L. Qu, R. Jia and B. Zhao, O2U-Net: A Simple Noisy Label Detection Approach for Deep Neural Networks[A] IEEE/CVF International Conference on Computer Vision (ICCV)[C], Seoul, Korea (South), 2019, pp. 3325-3333.
[17] 陈庆强, 王文剑, 姜高霞. 基于数据分布的标签噪声过滤[J]. 清华大学学报(自然科学版), 2019, 59(4): 262-269.

作者简介：胡晓慧（1996年-），女，主要研究方向：音频大数据. E-mail: hxh_huxiaohui@qq.com