基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法

TP311%TP183; 深度神经网络的鲁棒性引发了学术界和工业界的高度关注,特别是在安全攸关领域.相比于验证神经网络的鲁棒性是否成立,本文关注点在于给定扰动前提下的鲁棒神经网络训练.现有的代表性训练方法——区间边界传播(IBP)和CROWN-IBP——在较小扰动下表现良好,但在较大扰动下性能显著下降,本文称之为衰退风险.具体来说,衰退风险是指与较小扰动情况相比,IBP系列训练方法在较大扰动情况下不能提供预期的鲁棒神经网络的现象.为了缓解这种衰退风险,我们提出一种全局的、单调递减的鲁棒神经网络训练策略,该策略在每个训练轮次考虑多个扰动(全局鲁棒性训练策略),并将其相应的鲁棒性损失以单调递减的权重进行组织(单调递减鲁棒性训练策略).实验证明,所提策略在较小扰动下能够保持原有算法的性能,在较大扰动下的衰退风险得到很大程度改善.值得注意的是,与原有训练方法相比,所提训练策略保留了更多的模型准确度,这意味着该训练策略更加平衡地考虑了模型的鲁棒性和准确性.