基于决策树和由均匀分布改进Q学习的虚拟机整合算法

基于决策树和由均匀分布改进Q学习的虚拟机整合算法

TP393; 随着云数据中心规模的不断扩大,次优虚拟机整合算法所引起的高能耗、低资源利用率和用户服务质量下降等问题逐渐凸显.为此,提出了一种基于决策树和由均匀分布改进Q学习的虚拟机整合算法(DTQL-UD).该算法采用决策树实现状态表征,并在评估下一时刻状态-动作价值时采用均匀分布选取下一时刻动作,可直接从云数据中心状态到虚拟机迁移的过程中通过实时反馈来不断优化决策.此外,针对强化学习中模拟器与真实场景中的差异问题,基于大量真实云数据中心负载跟踪数据,使用监督学习模型训练模拟器以增加模拟器的仿真度.仿真实验结果表明,DTQL-UD在能耗、资源利用率、用户服务质量、虚拟机迁移次数和剩余活跃主机数...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Veröffentlicht in:计算机科学 2023, Vol.50 (6), p.36-44
Hauptverfasser: 师亮, 温亮明, 雷声, 黎建辉
Format: Artikel
Sprache:chi
Online-Zugang:Volltext
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
container_end_page 44
container_issue 6
container_start_page 36
container_title 计算机科学
container_volume 50
creator 师亮
温亮明
雷声
黎建辉
description TP393; 随着云数据中心规模的不断扩大,次优虚拟机整合算法所引起的高能耗、低资源利用率和用户服务质量下降等问题逐渐凸显.为此,提出了一种基于决策树和由均匀分布改进Q学习的虚拟机整合算法(DTQL-UD).该算法采用决策树实现状态表征,并在评估下一时刻状态-动作价值时采用均匀分布选取下一时刻动作,可直接从云数据中心状态到虚拟机迁移的过程中通过实时反馈来不断优化决策.此外,针对强化学习中模拟器与真实场景中的差异问题,基于大量真实云数据中心负载跟踪数据,使用监督学习模型训练模拟器以增加模拟器的仿真度.仿真实验结果表明,DTQL-UD在能耗、资源利用率、用户服务质量、虚拟机迁移次数和剩余活跃主机数量方面分别优化了 14％,12％,21％,40％和10％.同时,得益于决策树在表格型数据上更强的特征提取能力,DTQL-UD相比其他现有的深度强化学习方法可学到更优的整合策略,并且在本实验中随着云数据中心规模的增大,可将传统强化学习模型的训练耗时逐步减少60％～92％.
doi_str_mv 10.11896/jsjkx.220300192
format Article
fullrecord <record><control><sourceid>wanfang_jour</sourceid><recordid>TN_cdi_wanfang_journals_jsjkx202306005</recordid><sourceformat>XML</sourceformat><sourcesystem>PC</sourcesystem><wanfj_id>jsjkx202306005</wanfj_id><sourcerecordid>jsjkx202306005</sourcerecordid><originalsourceid>FETCH-wanfang_journals_jsjkx2023060053</originalsourceid><addsrcrecordid>eNpjYJAwNNAzNLSwNNPPKs7KrtAzMjIwNjAwtDRiYeA0NDAw0jU0No_gYOAtLs5MMjAyNjMBQkNOBren83c92dX3tG3z87XTni2Y-HRSz_MpG5_ObX_a0_C0o-3pjuZnU3a-2D878OnaZU92Lng-q-XFzFnPuuc_m7Pr2dQtTyd0PF83_dnmqTwMrGmJOcWpvFCam0HNzTXE2UO3PDEvLTEvPT4rv7QoDygTD3adEdAFBmYGBqbGRCsEAHlRWyU</addsrcrecordid><sourcetype>Aggregation Database</sourcetype><iscdi>true</iscdi><recordtype>article</recordtype></control><display><type>article</type><title>基于决策树和由均匀分布改进Q学习的虚拟机整合算法</title><source>DOAJ Directory of Open Access Journals</source><creator>师亮 ; 温亮明 ; 雷声 ; 黎建辉</creator><creatorcontrib>师亮 ; 温亮明 ; 雷声 ; 黎建辉</creatorcontrib><description>TP393; 随着云数据中心规模的不断扩大,次优虚拟机整合算法所引起的高能耗、低资源利用率和用户服务质量下降等问题逐渐凸显.为此,提出了一种基于决策树和由均匀分布改进Q学习的虚拟机整合算法(DTQL-UD).该算法采用决策树实现状态表征,并在评估下一时刻状态-动作价值时采用均匀分布选取下一时刻动作,可直接从云数据中心状态到虚拟机迁移的过程中通过实时反馈来不断优化决策.此外,针对强化学习中模拟器与真实场景中的差异问题,基于大量真实云数据中心负载跟踪数据,使用监督学习模型训练模拟器以增加模拟器的仿真度.仿真实验结果表明,DTQL-UD在能耗、资源利用率、用户服务质量、虚拟机迁移次数和剩余活跃主机数量方面分别优化了 14％,12％,21％,40％和10％.同时,得益于决策树在表格型数据上更强的特征提取能力,DTQL-UD相比其他现有的深度强化学习方法可学到更优的整合策略,并且在本实验中随着云数据中心规模的增大,可将传统强化学习模型的训练耗时逐步减少60％～92％.</description><identifier>ISSN: 1002-137X</identifier><identifier>DOI: 10.11896/jsjkx.220300192</identifier><language>chi</language><publisher>中国科学院计算机网络信息中心 北京100090</publisher><ispartof>计算机科学, 2023, Vol.50 (6), p.36-44</ispartof><rights>Copyright © Wanfang Data Co. Ltd. All Rights Reserved.</rights><woscitedreferencessubscribed>false</woscitedreferencessubscribed></display><links><openurl>$$Topenurl_article</openurl><openurlfulltext>$$Topenurlfull_article</openurlfulltext><thumbnail>$$Uhttp://www.wanfangdata.com.cn/images/PeriodicalImages/jsjkx/jsjkx.jpg</thumbnail><link.rule.ids>314,776,780,860,4010,27900,27901,27902</link.rule.ids></links><search><creatorcontrib>师亮</creatorcontrib><creatorcontrib>温亮明</creatorcontrib><creatorcontrib>雷声</creatorcontrib><creatorcontrib>黎建辉</creatorcontrib><title>基于决策树和由均匀分布改进Q学习的虚拟机整合算法</title><title>计算机科学</title><description>TP393; 随着云数据中心规模的不断扩大,次优虚拟机整合算法所引起的高能耗、低资源利用率和用户服务质量下降等问题逐渐凸显.为此,提出了一种基于决策树和由均匀分布改进Q学习的虚拟机整合算法(DTQL-UD).该算法采用决策树实现状态表征,并在评估下一时刻状态-动作价值时采用均匀分布选取下一时刻动作,可直接从云数据中心状态到虚拟机迁移的过程中通过实时反馈来不断优化决策.此外,针对强化学习中模拟器与真实场景中的差异问题,基于大量真实云数据中心负载跟踪数据,使用监督学习模型训练模拟器以增加模拟器的仿真度.仿真实验结果表明,DTQL-UD在能耗、资源利用率、用户服务质量、虚拟机迁移次数和剩余活跃主机数量方面分别优化了 14％,12％,21％,40％和10％.同时,得益于决策树在表格型数据上更强的特征提取能力,DTQL-UD相比其他现有的深度强化学习方法可学到更优的整合策略,并且在本实验中随着云数据中心规模的增大,可将传统强化学习模型的训练耗时逐步减少60％～92％.</description><issn>1002-137X</issn><fulltext>true</fulltext><rsrctype>article</rsrctype><creationdate>2023</creationdate><recordtype>article</recordtype><recordid>eNpjYJAwNNAzNLSwNNPPKs7KrtAzMjIwNjAwtDRiYeA0NDAw0jU0No_gYOAtLs5MMjAyNjMBQkNOBren83c92dX3tG3z87XTni2Y-HRSz_MpG5_ObX_a0_C0o-3pjuZnU3a-2D878OnaZU92Lng-q-XFzFnPuuc_m7Pr2dQtTyd0PF83_dnmqTwMrGmJOcWpvFCam0HNzTXE2UO3PDEvLTEvPT4rv7QoDygTD3adEdAFBmYGBqbGRCsEAHlRWyU</recordid><startdate>2023</startdate><enddate>2023</enddate><creator>师亮</creator><creator>温亮明</creator><creator>雷声</creator><creator>黎建辉</creator><general>中国科学院计算机网络信息中心 北京100090</general><general>中国科学院大学 北京100049%中国科学院计算机网络信息中心 北京100090</general><scope>2B.</scope><scope>4A8</scope><scope>92I</scope><scope>93N</scope><scope>PSX</scope><scope>TCJ</scope></search><sort><creationdate>2023</creationdate><title>基于决策树和由均匀分布改进Q学习的虚拟机整合算法</title><author>师亮 ; 温亮明 ; 雷声 ; 黎建辉</author></sort><facets><frbrtype>5</frbrtype><frbrgroupid>cdi_FETCH-wanfang_journals_jsjkx2023060053</frbrgroupid><rsrctype>articles</rsrctype><prefilter>articles</prefilter><language>chi</language><creationdate>2023</creationdate><toplevel>online_resources</toplevel><creatorcontrib>师亮</creatorcontrib><creatorcontrib>温亮明</creatorcontrib><creatorcontrib>雷声</creatorcontrib><creatorcontrib>黎建辉</creatorcontrib><collection>Wanfang Data Journals - Hong Kong</collection><collection>WANFANG Data Centre</collection><collection>Wanfang Data Journals</collection><collection>万方数据期刊 - 香港版</collection><collection>China Online Journals (COJ)</collection><collection>China Online Journals (COJ)</collection><jtitle>计算机科学</jtitle></facets><delivery><delcategory>Remote Search Resource</delcategory><fulltext>fulltext</fulltext></delivery><addata><au>师亮</au><au>温亮明</au><au>雷声</au><au>黎建辉</au><format>journal</format><genre>article</genre><ristype>JOUR</ristype><atitle>基于决策树和由均匀分布改进Q学习的虚拟机整合算法</atitle><jtitle>计算机科学</jtitle><date>2023</date><risdate>2023</risdate><volume>50</volume><issue>6</issue><spage>36</spage><epage>44</epage><pages>36-44</pages><issn>1002-137X</issn><abstract>TP393; 随着云数据中心规模的不断扩大,次优虚拟机整合算法所引起的高能耗、低资源利用率和用户服务质量下降等问题逐渐凸显.为此,提出了一种基于决策树和由均匀分布改进Q学习的虚拟机整合算法(DTQL-UD).该算法采用决策树实现状态表征,并在评估下一时刻状态-动作价值时采用均匀分布选取下一时刻动作,可直接从云数据中心状态到虚拟机迁移的过程中通过实时反馈来不断优化决策.此外,针对强化学习中模拟器与真实场景中的差异问题,基于大量真实云数据中心负载跟踪数据,使用监督学习模型训练模拟器以增加模拟器的仿真度.仿真实验结果表明,DTQL-UD在能耗、资源利用率、用户服务质量、虚拟机迁移次数和剩余活跃主机数量方面分别优化了 14％,12％,21％,40％和10％.同时,得益于决策树在表格型数据上更强的特征提取能力,DTQL-UD相比其他现有的深度强化学习方法可学到更优的整合策略,并且在本实验中随着云数据中心规模的增大,可将传统强化学习模型的训练耗时逐步减少60％～92％.</abstract><pub>中国科学院计算机网络信息中心 北京100090</pub><doi>10.11896/jsjkx.220300192</doi></addata></record>
fulltext fulltext
identifier ISSN: 1002-137X
ispartof 计算机科学, 2023, Vol.50 (6), p.36-44
issn 1002-137X
language chi
recordid cdi_wanfang_journals_jsjkx202306005
source DOAJ Directory of Open Access Journals
title 基于决策树和由均匀分布改进Q学习的虚拟机整合算法
url https://sfx.bib-bvb.de/sfx_tum?ctx_ver=Z39.88-2004&ctx_enc=info:ofi/enc:UTF-8&ctx_tim=2025-02-05T05%3A42%3A03IST&url_ver=Z39.88-2004&url_ctx_fmt=infofi/fmt:kev:mtx:ctx&rfr_id=info:sid/primo.exlibrisgroup.com:primo3-Article-wanfang_jour&rft_val_fmt=info:ofi/fmt:kev:mtx:journal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E5%86%B3%E7%AD%96%E6%A0%91%E5%92%8C%E7%94%B1%E5%9D%87%E5%8C%80%E5%88%86%E5%B8%83%E6%94%B9%E8%BF%9BQ%E5%AD%A6%E4%B9%A0%E7%9A%84%E8%99%9A%E6%8B%9F%E6%9C%BA%E6%95%B4%E5%90%88%E7%AE%97%E6%B3%95&rft.jtitle=%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A7%91%E5%AD%A6&rft.au=%E5%B8%88%E4%BA%AE&rft.date=2023&rft.volume=50&rft.issue=6&rft.spage=36&rft.epage=44&rft.pages=36-44&rft.issn=1002-137X&rft_id=info:doi/10.11896/jsjkx.220300192&rft_dat=%3Cwanfang_jour%3Ejsjkx202306005%3C/wanfang_jour%3E%3Curl%3E%3C/url%3E&disable_directlink=true&sfx.directlink=off&sfx.report_link=0&rft_id=info:oai/&rft_id=info:pmid/&rft_wanfj_id=jsjkx202306005&rfr_iscdi=true