基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法

基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法

TP311%TP183; 深度神经网络的鲁棒性引发了学术界和工业界的高度关注,特别是在安全攸关领域.相比于验证神经网络的鲁棒性是否成立,本文关注点在于给定扰动前提下的鲁棒神经网络训练.现有的代表性训练方法——区间边界传播(IBP)和CROWN-IBP——在较小扰动下表现良好,但在较大扰动下性能显著下降,本文称之为衰退风险.具体来说,衰退风险是指与较小扰动情况相比,IBP系列训练方法在较大扰动情况下不能提供预期的鲁棒神经网络的现象.为了缓解这种衰退风险,我们提出一种全局的、单调递减的鲁棒神经网络训练策略,该策略在每个训练轮次考虑多个扰动(全局鲁棒性训练策略),并将其相应的鲁棒性损失以单调递减的权...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Veröffentlicht in:信息与电子工程前沿（英文版） 2023, Vol.24 (10), p.1375-后插1
Hauptverfasser: 梁震, 吴陶然, 刘万伟, 薛白, 杨文婧, 王戟, 庞征斌
Format: Artikel
Sprache:chi
Online-Zugang:Volltext
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
container_end_page 后插1
container_issue 10
container_start_page 1375
container_title 信息与电子工程前沿（英文版）
container_volume 24
creator 梁震
吴陶然
刘万伟
薛白
杨文婧
王戟
庞征斌
description TP311%TP183; 深度神经网络的鲁棒性引发了学术界和工业界的高度关注,特别是在安全攸关领域.相比于验证神经网络的鲁棒性是否成立,本文关注点在于给定扰动前提下的鲁棒神经网络训练.现有的代表性训练方法——区间边界传播(IBP)和CROWN-IBP——在较小扰动下表现良好,但在较大扰动下性能显著下降,本文称之为衰退风险.具体来说,衰退风险是指与较小扰动情况相比,IBP系列训练方法在较大扰动情况下不能提供预期的鲁棒神经网络的现象.为了缓解这种衰退风险,我们提出一种全局的、单调递减的鲁棒神经网络训练策略,该策略在每个训练轮次考虑多个扰动(全局鲁棒性训练策略),并将其相应的鲁棒性损失以单调递减的权重进行组织(单调递减鲁棒性训练策略).实验证明,所提策略在较小扰动下能够保持原有算法的性能,在较大扰动下的衰退风险得到很大程度改善.值得注意的是,与原有训练方法相比,所提训练策略保留了更多的模型准确度,这意味着该训练策略更加平衡地考虑了模型的鲁棒性和准确性.
doi_str_mv 10.1631/FITEE.2300059
format Article
fullrecord <record><control><sourceid>wanfang_jour</sourceid><recordid>TN_cdi_wanfang_journals_zjdxxbc_e202310002</recordid><sourceformat>XML</sourceformat><sourcesystem>PC</sourcesystem><wanfj_id>zjdxxbc_e202310002</wanfj_id><sourcerecordid>zjdxxbc_e202310002</sourcerecordid><originalsourceid>FETCH-wanfang_journals_zjdxxbc_e2023100023</originalsourceid><addsrcrecordid>eNpjYBA1NNAzNDM21HfzDHF11TMyNjAwMLVkYeA0MrA01bU0tDDhYOAtLs5MMjAyMbA0MTQ15GTwfjp_15NdfU9bVzzd2PB0Us_T3qkvNjS_bJj0tL3_5abGZ4snPWtY_nzttOdTlz6f1QIReb503vPd_c_3Tny-e86LdWuf725-Nm3ns81TeRhY0xJzilN5oTQ3g5aba4izh255Yl5aYl56fFZ-aVEeUCa-KiuloiIpOT7VyMDI2BDoTCNjkhQDAAhKYLs</addsrcrecordid><sourcetype>Aggregation Database</sourcetype><iscdi>true</iscdi><recordtype>article</recordtype></control><display><type>article</type><title>基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法</title><source>Springer Nature - Complete Springer Journals</source><source>ProQuest Central UK/Ireland</source><source>Alma/SFX Local Collection</source><source>ProQuest Central</source><creator>梁震 ; 吴陶然 ; 刘万伟 ; 薛白 ; 杨文婧 ; 王戟 ; 庞征斌</creator><creatorcontrib>梁震 ; 吴陶然 ; 刘万伟 ; 薛白 ; 杨文婧 ; 王戟 ; 庞征斌</creatorcontrib><description>TP311%TP183; 深度神经网络的鲁棒性引发了学术界和工业界的高度关注,特别是在安全攸关领域.相比于验证神经网络的鲁棒性是否成立,本文关注点在于给定扰动前提下的鲁棒神经网络训练.现有的代表性训练方法——区间边界传播(IBP)和CROWN-IBP——在较小扰动下表现良好,但在较大扰动下性能显著下降,本文称之为衰退风险.具体来说,衰退风险是指与较小扰动情况相比,IBP系列训练方法在较大扰动情况下不能提供预期的鲁棒神经网络的现象.为了缓解这种衰退风险,我们提出一种全局的、单调递减的鲁棒神经网络训练策略,该策略在每个训练轮次考虑多个扰动(全局鲁棒性训练策略),并将其相应的鲁棒性损失以单调递减的权重进行组织(单调递减鲁棒性训练策略).实验证明,所提策略在较小扰动下能够保持原有算法的性能,在较大扰动下的衰退风险得到很大程度改善.值得注意的是,与原有训练方法相比,所提训练策略保留了更多的模型准确度,这意味着该训练策略更加平衡地考虑了模型的鲁棒性和准确性.</description><identifier>ISSN: 2095-9184</identifier><identifier>DOI: 10.1631/FITEE.2300059</identifier><language>chi</language><publisher>中国科学院大学计算机科学与技术学院,中国 北京市,100190%国防科技大学计算机学院,中国长沙市,410073</publisher><ispartof>信息与电子工程前沿（英文版）, 2023, Vol.24 (10), p.1375-后插1</ispartof><rights>Copyright © Wanfang Data Co. Ltd. All Rights Reserved.</rights><lds50>peer_reviewed</lds50><woscitedreferencessubscribed>false</woscitedreferencessubscribed></display><links><openurl>$$Topenurl_article</openurl><openurlfulltext>$$Topenurlfull_article</openurlfulltext><thumbnail>$$Uhttp://www.wanfangdata.com.cn/images/PeriodicalImages/zjdxxbc-e/zjdxxbc-e.jpg</thumbnail><link.rule.ids>314,777,781,4010,27904,27905,27906</link.rule.ids></links><search><creatorcontrib>梁震</creatorcontrib><creatorcontrib>吴陶然</creatorcontrib><creatorcontrib>刘万伟</creatorcontrib><creatorcontrib>薛白</creatorcontrib><creatorcontrib>杨文婧</creatorcontrib><creatorcontrib>王戟</creatorcontrib><creatorcontrib>庞征斌</creatorcontrib><title>基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法</title><title>信息与电子工程前沿（英文版）</title><description>TP311%TP183; 深度神经网络的鲁棒性引发了学术界和工业界的高度关注,特别是在安全攸关领域.相比于验证神经网络的鲁棒性是否成立,本文关注点在于给定扰动前提下的鲁棒神经网络训练.现有的代表性训练方法——区间边界传播(IBP)和CROWN-IBP——在较小扰动下表现良好,但在较大扰动下性能显著下降,本文称之为衰退风险.具体来说,衰退风险是指与较小扰动情况相比,IBP系列训练方法在较大扰动情况下不能提供预期的鲁棒神经网络的现象.为了缓解这种衰退风险,我们提出一种全局的、单调递减的鲁棒神经网络训练策略,该策略在每个训练轮次考虑多个扰动(全局鲁棒性训练策略),并将其相应的鲁棒性损失以单调递减的权重进行组织(单调递减鲁棒性训练策略).实验证明,所提策略在较小扰动下能够保持原有算法的性能,在较大扰动下的衰退风险得到很大程度改善.值得注意的是,与原有训练方法相比,所提训练策略保留了更多的模型准确度,这意味着该训练策略更加平衡地考虑了模型的鲁棒性和准确性.</description><issn>2095-9184</issn><fulltext>true</fulltext><rsrctype>article</rsrctype><creationdate>2023</creationdate><recordtype>article</recordtype><recordid>eNpjYBA1NNAzNDM21HfzDHF11TMyNjAwMLVkYeA0MrA01bU0tDDhYOAtLs5MMjAyMbA0MTQ15GTwfjp_15NdfU9bVzzd2PB0Us_T3qkvNjS_bJj0tL3_5abGZ4snPWtY_nzttOdTlz6f1QIReb503vPd_c_3Tny-e86LdWuf725-Nm3ns81TeRhY0xJzilN5oTQ3g5aba4izh255Yl5aYl56fFZ-aVEeUCa-KiuloiIpOT7VyMDI2BDoTCNjkhQDAAhKYLs</recordid><startdate>2023</startdate><enddate>2023</enddate><creator>梁震</creator><creator>吴陶然</creator><creator>刘万伟</creator><creator>薛白</creator><creator>杨文婧</creator><creator>王戟</creator><creator>庞征斌</creator><general>中国科学院大学计算机科学与技术学院,中国 北京市,100190%国防科技大学计算机学院,中国长沙市,410073</general><general>国防科技大学量子信息研究所兼高性能计算国家重点实验室,中国长沙市,410073%中国科学院软件研究所计算机科学国家重点实验室,中国 北京市,100190</general><general>国防科技大学复杂系统软件工程实验室,中国长沙市,410073%中国科学院软件研究所计算机科学国家重点实验室,中国 北京市,100190%国防科技大学计算机学院,中国长沙市,410073</general><scope>2B.</scope><scope>4A8</scope><scope>92I</scope><scope>93N</scope><scope>PSX</scope><scope>TCJ</scope></search><sort><creationdate>2023</creationdate><title>基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法</title><author>梁震 ; 吴陶然 ; 刘万伟 ; 薛白 ; 杨文婧 ; 王戟 ; 庞征斌</author></sort><facets><frbrtype>5</frbrtype><frbrgroupid>cdi_FETCH-wanfang_journals_zjdxxbc_e2023100023</frbrgroupid><rsrctype>articles</rsrctype><prefilter>articles</prefilter><language>chi</language><creationdate>2023</creationdate><toplevel>peer_reviewed</toplevel><toplevel>online_resources</toplevel><creatorcontrib>梁震</creatorcontrib><creatorcontrib>吴陶然</creatorcontrib><creatorcontrib>刘万伟</creatorcontrib><creatorcontrib>薛白</creatorcontrib><creatorcontrib>杨文婧</creatorcontrib><creatorcontrib>王戟</creatorcontrib><creatorcontrib>庞征斌</creatorcontrib><collection>Wanfang Data Journals - Hong Kong</collection><collection>WANFANG Data Centre</collection><collection>Wanfang Data Journals</collection><collection>万方数据期刊 - 香港版</collection><collection>China Online Journals (COJ)</collection><collection>China Online Journals (COJ)</collection><jtitle>信息与电子工程前沿（英文版）</jtitle></facets><delivery><delcategory>Remote Search Resource</delcategory><fulltext>fulltext</fulltext></delivery><addata><au>梁震</au><au>吴陶然</au><au>刘万伟</au><au>薛白</au><au>杨文婧</au><au>王戟</au><au>庞征斌</au><format>journal</format><genre>article</genre><ristype>JOUR</ristype><atitle>基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法</atitle><jtitle>信息与电子工程前沿（英文版）</jtitle><date>2023</date><risdate>2023</risdate><volume>24</volume><issue>10</issue><spage>1375</spage><epage>后插1</epage><pages>1375-后插1</pages><issn>2095-9184</issn><abstract>TP311%TP183; 深度神经网络的鲁棒性引发了学术界和工业界的高度关注,特别是在安全攸关领域.相比于验证神经网络的鲁棒性是否成立,本文关注点在于给定扰动前提下的鲁棒神经网络训练.现有的代表性训练方法——区间边界传播(IBP)和CROWN-IBP——在较小扰动下表现良好,但在较大扰动下性能显著下降,本文称之为衰退风险.具体来说,衰退风险是指与较小扰动情况相比,IBP系列训练方法在较大扰动情况下不能提供预期的鲁棒神经网络的现象.为了缓解这种衰退风险,我们提出一种全局的、单调递减的鲁棒神经网络训练策略,该策略在每个训练轮次考虑多个扰动(全局鲁棒性训练策略),并将其相应的鲁棒性损失以单调递减的权重进行组织(单调递减鲁棒性训练策略).实验证明,所提策略在较小扰动下能够保持原有算法的性能,在较大扰动下的衰退风险得到很大程度改善.值得注意的是,与原有训练方法相比,所提训练策略保留了更多的模型准确度,这意味着该训练策略更加平衡地考虑了模型的鲁棒性和准确性.</abstract><pub>中国科学院大学计算机科学与技术学院,中国 北京市,100190%国防科技大学计算机学院,中国长沙市,410073</pub><doi>10.1631/FITEE.2300059</doi></addata></record>
fulltext fulltext
identifier ISSN: 2095-9184
ispartof 信息与电子工程前沿（英文版）, 2023, Vol.24 (10), p.1375-后插1
issn 2095-9184
language chi
recordid cdi_wanfang_journals_zjdxxbc_e202310002
source Springer Nature - Complete Springer Journals; ProQuest Central UK/Ireland; Alma/SFX Local Collection; ProQuest Central
title 基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法
url https://sfx.bib-bvb.de/sfx_tum?ctx_ver=Z39.88-2004&ctx_enc=info:ofi/enc:UTF-8&ctx_tim=2025-01-19T21%3A41%3A19IST&url_ver=Z39.88-2004&url_ctx_fmt=infofi/fmt:kev:mtx:ctx&rfr_id=info:sid/primo.exlibrisgroup.com:primo3-Article-wanfang_jour&rft_val_fmt=info:ofi/fmt:kev:mtx:journal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E5%85%A8%E5%B1%80%E5%92%8C%E5%8D%95%E8%B0%83%E9%80%92%E5%87%8F%E9%B2%81%E6%A3%92%E6%80%A7%E7%AD%96%E7%95%A5%E7%9A%84%E9%B2%81%E6%A3%92%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%AE%AD%E7%BB%83%E6%96%B9%E6%B3%95&rft.jtitle=%E4%BF%A1%E6%81%AF%E4%B8%8E%E7%94%B5%E5%AD%90%E5%B7%A5%E7%A8%8B%E5%89%8D%E6%B2%BF%EF%BC%88%E8%8B%B1%E6%96%87%E7%89%88%EF%BC%89&rft.au=%E6%A2%81%E9%9C%87&rft.date=2023&rft.volume=24&rft.issue=10&rft.spage=1375&rft.epage=%E5%90%8E%E6%8F%921&rft.pages=1375-%E5%90%8E%E6%8F%921&rft.issn=2095-9184&rft_id=info:doi/10.1631/FITEE.2300059&rft_dat=%3Cwanfang_jour%3Ezjdxxbc_e202310002%3C/wanfang_jour%3E%3Curl%3E%3C/url%3E&disable_directlink=true&sfx.directlink=off&sfx.report_link=0&rft_id=info:oai/&rft_id=info:pmid/&rft_wanfj_id=zjdxxbc_e202310002&rfr_iscdi=true