用于井下行人检测的可见光和红外图像融合算法

用于井下行人检测的可见光和红外图像融合算法

TD67; 矿用智能车辆的工作环境光照条件复杂,在进行井下行人检测时可以通过融合可见光和红外图像,将红外线反射信息和细节纹理信息融合于可见光图像中,改善目标检测效果.传统的可见光和红外图像融合方法随着分解层数增多,会导致图像边缘和纹理模糊,同时融合时间也会增加.目前基于深度学习的可见光和红外图像融合方法难以平衡可见光和红外图像中的特征,导致融合图像中细节信息模糊.针对上述问题,提出了一种基于多注意力机制的可见光和红外图像融合算法(IFAM).首先采用卷积神经网络对可见光和红外图像提取图像特征;然后通过空间注意力和通道注意力模块分别对提取出来的特征进行交叉融合,同时利用特征中梯度信息计算2个注意...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Veröffentlicht in:工矿自动化 2023, Vol.49 (9), p.73-83
Hauptverfasser: 周李兵, 陈晓晶, 贾文琪, 卫健健, 叶柏松, 邹盛
Format: Artikel
Sprache:chi
Online-Zugang:Volltext
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
container_end_page 83
container_issue 9
container_start_page 73
container_title 工矿自动化
container_volume 49
creator 周李兵
陈晓晶
贾文琪
卫健健
叶柏松
邹盛
description TD67; 矿用智能车辆的工作环境光照条件复杂,在进行井下行人检测时可以通过融合可见光和红外图像,将红外线反射信息和细节纹理信息融合于可见光图像中,改善目标检测效果.传统的可见光和红外图像融合方法随着分解层数增多,会导致图像边缘和纹理模糊,同时融合时间也会增加.目前基于深度学习的可见光和红外图像融合方法难以平衡可见光和红外图像中的特征,导致融合图像中细节信息模糊.针对上述问题,提出了一种基于多注意力机制的可见光和红外图像融合算法(IFAM).首先采用卷积神经网络对可见光和红外图像提取图像特征;然后通过空间注意力和通道注意力模块分别对提取出来的特征进行交叉融合,同时利用特征中梯度信息计算2个注意力模块输出特征的融合权值,根据权值融合2个注意力模块的输出特征;最后通过反卷积变换对图像特征进行还原,得到最终的融合图像.在RoadScene数据集和TNO数据集上的融合结果表明,经IF AM融合后的图像中同时具备了可见光图像中的背景纹理和红外图像中的行人轮廓特征信息;在井下数据集上的融合结果表明,在弱光环境下,红外图像可以弥补可见光的缺点,并且不受环境中其他光源的影响,在弱光条件下融合后的图像中行人轮廓依旧明显.对比分析结果表明,经IF AM融合后图像的信息熵(EN)、标准方差(SD)、梯度融合度量指标(QAB/F)、融合视觉信息保真度(VIFF)和联合结构相似性度量(SSIMu)分别为4.901 3,88.521 4,0.169 3,1.413 5,0.806 2,整体性能优于同类的LLF-IOI,NDM等算法.
doi_str_mv 10.13272/j.issn.1671-251x.2023070025
format Article
fullrecord <record><control><sourceid>wanfang_jour</sourceid><recordid>TN_cdi_wanfang_journals_mkzdh202309008</recordid><sourceformat>XML</sourceformat><sourcesystem>PC</sourcesystem><wanfj_id>mkzdh202309008</wanfj_id><sourcerecordid>mkzdh202309008</sourcerecordid><originalsourceid>FETCH-wanfang_journals_mkzdh2023090083</originalsourceid><addsrcrecordid>eNpjYFAxNNAzNDYyN9LP0sssLs7TMzQzN9Q1MjWs0DMyMDI2MDcwMDJlYeCECUdwMPAWF2cmGZgaGFkYmhqacjLYP5-y4smuvie7pj7Z0f1iYc-TXbueLW54trX7-ayWp_3rXyxvfNra-XRSz_Ndi54umfZ09r6nzf0v5vU-ndDxfN30Z5un8jCwpiXmFKfyQmluBjU31xBnD93yxLy0xLz0-Kz80qI8oEx8bnZVSgbYWZYGBhbGRCsEAGN5WPE</addsrcrecordid><sourcetype>Aggregation Database</sourcetype><iscdi>true</iscdi><recordtype>article</recordtype></control><display><type>article</type><title>用于井下行人检测的可见光和红外图像融合算法</title><source>DOAJ Directory of Open Access Journals</source><creator>周李兵 ; 陈晓晶 ; 贾文琪 ; 卫健健 ; 叶柏松 ; 邹盛</creator><creatorcontrib>周李兵 ; 陈晓晶 ; 贾文琪 ; 卫健健 ; 叶柏松 ; 邹盛</creatorcontrib><description>TD67; 矿用智能车辆的工作环境光照条件复杂,在进行井下行人检测时可以通过融合可见光和红外图像,将红外线反射信息和细节纹理信息融合于可见光图像中,改善目标检测效果.传统的可见光和红外图像融合方法随着分解层数增多,会导致图像边缘和纹理模糊,同时融合时间也会增加.目前基于深度学习的可见光和红外图像融合方法难以平衡可见光和红外图像中的特征,导致融合图像中细节信息模糊.针对上述问题,提出了一种基于多注意力机制的可见光和红外图像融合算法(IFAM).首先采用卷积神经网络对可见光和红外图像提取图像特征;然后通过空间注意力和通道注意力模块分别对提取出来的特征进行交叉融合,同时利用特征中梯度信息计算2个注意力模块输出特征的融合权值,根据权值融合2个注意力模块的输出特征;最后通过反卷积变换对图像特征进行还原,得到最终的融合图像.在RoadScene数据集和TNO数据集上的融合结果表明,经IF AM融合后的图像中同时具备了可见光图像中的背景纹理和红外图像中的行人轮廓特征信息;在井下数据集上的融合结果表明,在弱光环境下,红外图像可以弥补可见光的缺点,并且不受环境中其他光源的影响,在弱光条件下融合后的图像中行人轮廓依旧明显.对比分析结果表明,经IF AM融合后图像的信息熵(EN)、标准方差(SD)、梯度融合度量指标(QAB/F)、融合视觉信息保真度(VIFF)和联合结构相似性度量(SSIMu)分别为4.901 3,88.521 4,0.169 3,1.413 5,0.806 2,整体性能优于同类的LLF-IOI,NDM等算法.</description><identifier>ISSN: 1671-251X</identifier><identifier>DOI: 10.13272/j.issn.1671-251x.2023070025</identifier><language>chi</language><publisher>中煤科工集团常州研究院有限公司,江苏常州 213015</publisher><ispartof>工矿自动化, 2023, Vol.49 (9), p.73-83</ispartof><rights>Copyright © Wanfang Data Co. Ltd. All Rights Reserved.</rights><lds50>peer_reviewed</lds50><woscitedreferencessubscribed>false</woscitedreferencessubscribed></display><links><openurl>$$Topenurl_article</openurl><openurlfulltext>$$Topenurlfull_article</openurlfulltext><thumbnail>$$Uhttp://www.wanfangdata.com.cn/images/PeriodicalImages/mkzdh/mkzdh.jpg</thumbnail><link.rule.ids>314,776,780,860,4010,27900,27901,27902</link.rule.ids></links><search><creatorcontrib>周李兵</creatorcontrib><creatorcontrib>陈晓晶</creatorcontrib><creatorcontrib>贾文琪</creatorcontrib><creatorcontrib>卫健健</creatorcontrib><creatorcontrib>叶柏松</creatorcontrib><creatorcontrib>邹盛</creatorcontrib><title>用于井下行人检测的可见光和红外图像融合算法</title><title>工矿自动化</title><description>TD67; 矿用智能车辆的工作环境光照条件复杂,在进行井下行人检测时可以通过融合可见光和红外图像,将红外线反射信息和细节纹理信息融合于可见光图像中,改善目标检测效果.传统的可见光和红外图像融合方法随着分解层数增多,会导致图像边缘和纹理模糊,同时融合时间也会增加.目前基于深度学习的可见光和红外图像融合方法难以平衡可见光和红外图像中的特征,导致融合图像中细节信息模糊.针对上述问题,提出了一种基于多注意力机制的可见光和红外图像融合算法(IFAM).首先采用卷积神经网络对可见光和红外图像提取图像特征;然后通过空间注意力和通道注意力模块分别对提取出来的特征进行交叉融合,同时利用特征中梯度信息计算2个注意力模块输出特征的融合权值,根据权值融合2个注意力模块的输出特征;最后通过反卷积变换对图像特征进行还原,得到最终的融合图像.在RoadScene数据集和TNO数据集上的融合结果表明,经IF AM融合后的图像中同时具备了可见光图像中的背景纹理和红外图像中的行人轮廓特征信息;在井下数据集上的融合结果表明,在弱光环境下,红外图像可以弥补可见光的缺点,并且不受环境中其他光源的影响,在弱光条件下融合后的图像中行人轮廓依旧明显.对比分析结果表明,经IF AM融合后图像的信息熵(EN)、标准方差(SD)、梯度融合度量指标(QAB/F)、融合视觉信息保真度(VIFF)和联合结构相似性度量(SSIMu)分别为4.901 3,88.521 4,0.169 3,1.413 5,0.806 2,整体性能优于同类的LLF-IOI,NDM等算法.</description><issn>1671-251X</issn><fulltext>true</fulltext><rsrctype>article</rsrctype><creationdate>2023</creationdate><recordtype>article</recordtype><recordid>eNpjYFAxNNAzNDYyN9LP0sssLs7TMzQzN9Q1MjWs0DMyMDI2MDcwMDJlYeCECUdwMPAWF2cmGZgaGFkYmhqacjLYP5-y4smuvie7pj7Z0f1iYc-TXbueLW54trX7-ayWp_3rXyxvfNra-XRSz_Ndi54umfZ09r6nzf0v5vU-ndDxfN30Z5un8jCwpiXmFKfyQmluBjU31xBnD93yxLy0xLz0-Kz80qI8oEx8bnZVSgbYWZYGBhbGRCsEAGN5WPE</recordid><startdate>2023</startdate><enddate>2023</enddate><creator>周李兵</creator><creator>陈晓晶</creator><creator>贾文琪</creator><creator>卫健健</creator><creator>叶柏松</creator><creator>邹盛</creator><general>中煤科工集团常州研究院有限公司,江苏常州 213015</general><general>天地(常州)自动化股份有限公司,江苏 常州 213015</general><general>南京航空航天大学机电学院,江苏南京 210016%中煤科工集团常州研究院有限公司,江苏常州 213015</general><scope>2B.</scope><scope>4A8</scope><scope>92I</scope><scope>93N</scope><scope>PSX</scope><scope>TCJ</scope></search><sort><creationdate>2023</creationdate><title>用于井下行人检测的可见光和红外图像融合算法</title><author>周李兵 ; 陈晓晶 ; 贾文琪 ; 卫健健 ; 叶柏松 ; 邹盛</author></sort><facets><frbrtype>5</frbrtype><frbrgroupid>cdi_FETCH-wanfang_journals_mkzdh2023090083</frbrgroupid><rsrctype>articles</rsrctype><prefilter>articles</prefilter><language>chi</language><creationdate>2023</creationdate><toplevel>peer_reviewed</toplevel><toplevel>online_resources</toplevel><creatorcontrib>周李兵</creatorcontrib><creatorcontrib>陈晓晶</creatorcontrib><creatorcontrib>贾文琪</creatorcontrib><creatorcontrib>卫健健</creatorcontrib><creatorcontrib>叶柏松</creatorcontrib><creatorcontrib>邹盛</creatorcontrib><collection>Wanfang Data Journals - Hong Kong</collection><collection>WANFANG Data Centre</collection><collection>Wanfang Data Journals</collection><collection>万方数据期刊 - 香港版</collection><collection>China Online Journals (COJ)</collection><collection>China Online Journals (COJ)</collection><jtitle>工矿自动化</jtitle></facets><delivery><delcategory>Remote Search Resource</delcategory><fulltext>fulltext</fulltext></delivery><addata><au>周李兵</au><au>陈晓晶</au><au>贾文琪</au><au>卫健健</au><au>叶柏松</au><au>邹盛</au><format>journal</format><genre>article</genre><ristype>JOUR</ristype><atitle>用于井下行人检测的可见光和红外图像融合算法</atitle><jtitle>工矿自动化</jtitle><date>2023</date><risdate>2023</risdate><volume>49</volume><issue>9</issue><spage>73</spage><epage>83</epage><pages>73-83</pages><issn>1671-251X</issn><abstract>TD67; 矿用智能车辆的工作环境光照条件复杂,在进行井下行人检测时可以通过融合可见光和红外图像,将红外线反射信息和细节纹理信息融合于可见光图像中,改善目标检测效果.传统的可见光和红外图像融合方法随着分解层数增多,会导致图像边缘和纹理模糊,同时融合时间也会增加.目前基于深度学习的可见光和红外图像融合方法难以平衡可见光和红外图像中的特征,导致融合图像中细节信息模糊.针对上述问题,提出了一种基于多注意力机制的可见光和红外图像融合算法(IFAM).首先采用卷积神经网络对可见光和红外图像提取图像特征;然后通过空间注意力和通道注意力模块分别对提取出来的特征进行交叉融合,同时利用特征中梯度信息计算2个注意力模块输出特征的融合权值,根据权值融合2个注意力模块的输出特征;最后通过反卷积变换对图像特征进行还原,得到最终的融合图像.在RoadScene数据集和TNO数据集上的融合结果表明,经IF AM融合后的图像中同时具备了可见光图像中的背景纹理和红外图像中的行人轮廓特征信息;在井下数据集上的融合结果表明,在弱光环境下,红外图像可以弥补可见光的缺点,并且不受环境中其他光源的影响,在弱光条件下融合后的图像中行人轮廓依旧明显.对比分析结果表明,经IF AM融合后图像的信息熵(EN)、标准方差(SD)、梯度融合度量指标(QAB/F)、融合视觉信息保真度(VIFF)和联合结构相似性度量(SSIMu)分别为4.901 3,88.521 4,0.169 3,1.413 5,0.806 2,整体性能优于同类的LLF-IOI,NDM等算法.</abstract><pub>中煤科工集团常州研究院有限公司,江苏常州 213015</pub><doi>10.13272/j.issn.1671-251x.2023070025</doi></addata></record>
fulltext fulltext
identifier ISSN: 1671-251X
ispartof 工矿自动化, 2023, Vol.49 (9), p.73-83
issn 1671-251X
language chi
recordid cdi_wanfang_journals_mkzdh202309008
source DOAJ Directory of Open Access Journals
title 用于井下行人检测的可见光和红外图像融合算法
url https://sfx.bib-bvb.de/sfx_tum?ctx_ver=Z39.88-2004&ctx_enc=info:ofi/enc:UTF-8&ctx_tim=2025-02-02T07%3A34%3A40IST&url_ver=Z39.88-2004&url_ctx_fmt=infofi/fmt:kev:mtx:ctx&rfr_id=info:sid/primo.exlibrisgroup.com:primo3-Article-wanfang_jour&rft_val_fmt=info:ofi/fmt:kev:mtx:journal&rft.genre=article&rft.atitle=%E7%94%A8%E4%BA%8E%E4%BA%95%E4%B8%8B%E8%A1%8C%E4%BA%BA%E6%A3%80%E6%B5%8B%E7%9A%84%E5%8F%AF%E8%A7%81%E5%85%89%E5%92%8C%E7%BA%A2%E5%A4%96%E5%9B%BE%E5%83%8F%E8%9E%8D%E5%90%88%E7%AE%97%E6%B3%95&rft.jtitle=%E5%B7%A5%E7%9F%BF%E8%87%AA%E5%8A%A8%E5%8C%96&rft.au=%E5%91%A8%E6%9D%8E%E5%85%B5&rft.date=2023&rft.volume=49&rft.issue=9&rft.spage=73&rft.epage=83&rft.pages=73-83&rft.issn=1671-251X&rft_id=info:doi/10.13272/j.issn.1671-251x.2023070025&rft_dat=%3Cwanfang_jour%3Emkzdh202309008%3C/wanfang_jour%3E%3Curl%3E%3C/url%3E&disable_directlink=true&sfx.directlink=off&sfx.report_link=0&rft_id=info:oai/&rft_id=info:pmid/&rft_wanfj_id=mkzdh202309008&rfr_iscdi=true