安徽省自然科学基金(050420301)
- 作品数：8 被引量：25H指数：4
- 相关作者：殷保群奚宏生李衍杰江琦代桂平更多>>
- 相关机构：中国科学技术大学合肥工业大学更多>>
- 发文基金：安徽省自然科学基金国家自然科学基金国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术理学电子电信社会学更多>>
- 基于观测的POMDP优化算法及其仿真被引量：1
- 2008年
- 在分析马尔可夫决策过程(Markov Decision Process,MDP)性能灵敏度的基础上,讨论了部分可观测马尔可夫决策过程(Partially Observable Markov Decision Process,POMDP)的性能优化问题.给出了POMDP性能灵敏度分析公式,并以此为基础提出了两种基于观测的POMDP优化算法:策略梯度优化算法和策略迭代优化算法.最后以准许控制问题为仿真实例,验证了这两个算法的有效性.
- 黄静殷保群李俊
- 关键词：仿真
- 半Markov决策过程折扣模型与平均模型之间的关系被引量：4
- 2006年
- 首先分别在折扣代价与平均代价性能准则下,讨论了一类半M arkov决策问题.基于性能势方法,导出了由最优平稳策略所满足的最优性方程.然后讨论了两种模型之间的关系,表明了平均模型的有关结论,可以通过对折扣模型相应结论取折扣因子趋于零时的极限来得到.
- 殷保群李衍杰唐昊代桂平奚宏生
- 关键词：半MARKOV决策过程
- 可数半Markov决策过程折扣代价性能优化被引量：2
- 2006年
- 讨论一类可数半M arkov决策过程(CSM DP)在折扣代价准则下的性能优化问题.运用等价M arkov过程方法,定义了折扣Po isson方程,并由该方程定义了α-势.基于α-势,导出了由最优平稳策略所满足的最优性方程.较为详细地讨论了最优性方程解的存在性问题,并给出了其解存在的一些充分条件.
- 殷保群李衍杰周亚平奚宏生
- 基于动态平衡流的网络赋权被引量：4
- 2006年
- 实际研究表明,复杂网络的主体结构在相当长的一段时间内是较为稳定的,并且网络的拓扑结构隐含着网络权的信息.为了从拓扑结构中得到权,首先在网络上建立了一种常见的物质流机制,该物质流会在网络上达到一种动态平衡,并且这种平衡状态与物质流的初始状态无关,只取决于网络的拓扑结构.借助这个物质流可以得到网络的权,这个权既体现了各个点和边在网络中的全局地位,也很好地揭示了每个点和它相邻节点之间的相互关系.
- 欧晴殷保群奚宏生
- 关键词：复杂网络
- 受约束Markov决策过程基于性能势的优化算法
- 本文在状态转移矩阵未知的条件下,研究了一类带有平均代价约束的Markov决策问题.利用性能势可以由一条样本轨道仿真估计的特性,给出了一种基于Lagrange乘子法的在线优化算法,并在一定条件下,证明了算法的收敛性.
- 李衍杰殷保群奚宏生
- 关键词：LAGRANGE方法
- 文献传递
- 动态电源管理的随机切换模型与在线优化被引量：8
- 2007年
- 考虑系统参数未知情况下的动态电源管理问题,提出一种基于强化学习的在线策略优化算法.通过建立事件驱动的随机切换分析模型,将动态电源管理问题转化为带约束的Markov决策过程的策略优化问题.利用此模型的动态结构特性,结合在线学习估计梯度与随机逼近改进策略,提出动态电源管理策略的在线优化算法.随机切换模型对电源管理系统的动态特性描述精确,在线优化算法自适应性强,运算量小,精度高,具有较高的实际应用价值.
- 江琦奚宏生殷保群
- 关键词：动态电源管理MARKOV决策过程梯度估计
- 动态电源管理的随机切换模型与策略优化被引量：5
- 2006年
- 提出一种基于连续时间Markov决策过程的动态电源管理策略优化方法.通过建立动态电源管理系统的随机切换模型,将动态电源管理问题转化为带约束的策略优化问题,并给出一种基于矢量合成的策略梯度优化算法.随机切换模型对动态电源管理系统的描述精确,策略优化算法简便有效,既能离线计算,也适用于在线优化.仿真实验验证了该方法的有效性.
- 江琦奚宏生殷保群
- 关键词：动态电源管理MARKOV决策过程梯度算法
- 一类分层非结构化P2P系统的随机优化
- 对于一类利用中心式构架和分布式构架各自优点的分层非结构化P2P系统,通过定义一种Markov切换空间模型来描述其动态组划分切换行为,从而导出相应的系统性能优化问题.同时还在Markov决策过程理论的基础上给出了关于性能指...
- 徐陈锋奚宏生江琦殷保群
- 关键词：MARKOV决策过程
- 文献传递
- 基于耦合技术计算Markov链性能势的仿真算法被引量：1
- 2007年
- 在对遍历Markov链的性能灵敏度分析中,可以用计算Markov链的实现因子来代替计算Markov链的性能势。给出了一种基于耦合技术的仿真方法来估计实现因子。使用经过优化的耦合矩阵,通过仿真来快速获得实现因子的估计。这种方法有两个优点:一是不用去求稳态分布,二是能减少仿真中的计算时间。
- 蒋兆春殷保群李俊
- 关键词：MARKOV链性能势
- 半Markov控制过程基于性能势仿真的并行优化算法被引量：2
- 2006年
- 根据等价Markov过程方法,研究了一类半Markov控制过程在紧致行动集上关于无限水平平均代价准则的性能优化算法.由于实际系统的状态空间往往非常大,因此通常的串行仿真算法可能会耗时过长,或由于硬件限制而无法实现.针对这些问题,提出了一种基于性能势的并行仿真优化算法,以期寻找系统的最优平稳策略,并用该算法对性能势的仿真和策略寻优分别进行了并行化,获得了较好的运行效率.仿真实例表明了该算法的有效性.这一算法可应用于大规模实际半Markov系统的性能优化.
- 代桂平殷保群李衍杰奚宏生
- 关键词：性能势
