郑红燕 作品数:13 被引量:13 H指数:2 供职机构: 深圳职业技术学院 更多>> 发文基金: 国家自然科学基金 广东省自然科学基金 国家教育部博士点基金 更多>> 相关领域: 自动化与计算机技术 电子电信 更多>>
基于动态贝叶斯网络的可分解信念状态空间压缩算法 被引量:2 2012年 针对部分可观察马尔可夫决策过程(POMDP)的信念状态空间规模"维数灾"问题,根据信念状态变量存在可分解和独立关系的特性,提出一种基于动态贝叶斯网络(DBN)的可分解信念状态空间压缩算法(factoredbelief states space compression,FBSSC).该算法通过构建变量间依赖关系图,根据独立关系检验去除多余边,将转移函数联合概率分解成若干个条件概率的乘积,实现信念状态空间的无损压缩.对比实验和RoboCupRescue仿真结果表明,本文算法具有较低误差率、较高收敛性和普遍适用性等特性. 仵博 吴敏 郑红燕 冯延蓬关键词:马尔可夫决策过程 动态贝叶斯网络 维数灾 异构无线传感器网络中基于POMDP的实时调度算法 被引量:2 2012年 针对异构无线传感器网络节点性能存在差异和易受环境影响的特点,提出一种基于部分可观察Markov决策过程(partially observable markov decision process,POMDP)的实时休眠调度算法,使用状态转移函数和观察函数表示系统完成用户请求任务中存在的环境噪声和传输冲突等不确定性,使用回报函数表示采用不同调度策略对异构网络感知准确度和能量消耗的影响,采用基于当前信念点的在线求解算法求取最优策略。仿真结果表明:该算法能够平衡数据准确性与能量消耗,延长网络生存时间。 冯延蓬 仵博 郑红燕关键词:异构无线传感器网络 调度 WSN中一种目标追踪在线节点调度算法 被引量:1 2012年 针对目标追踪无线传感器网络节点能量有限、感知信息存在不确定性等问题,提出一种基于部分可观察马尔可夫决策过程的在线节点调度算法。通过状态转移函数和观察函数描述移动目标的不确定性,根据奖赏函数平衡追踪性能和节点能量消耗,并构造有限深度的可达信念与或树降低运算复杂度,实现调度策略在线求解。实验结果表明,该算法能平衡目标追踪质量与节点能量消耗,且满足实时性要求。 冯延蓬 仵博 郑红燕 孟宪军关键词:部分可观察马尔可夫决策过程 节点调度 POMDPs算法复杂度对比分析研究 2013年 部分可观察马尔可夫决策过程(Partially Observable Markov Decision Processes,POMDPs)是动态不确定环境下序贯决策的理想模型,但是现有算法都陷入"维数灾"和"历史灾"问题,造成理想的POMDPs模型无法在实际工程中得到应用.本文首先详细分析了POMDPs精确算法的复杂度,阐述问题求解的难点;然后比较分析现有基于点的离线算法和在线算法两类算法的算法思想和时间复杂度,指出两类算法的优缺点;最后简介POMDPs实际应用情况和未来的研究方向. 仵博 郑红燕 冯延蓬关键词:部分可观察马尔可夫决策过程 序贯决策 维数灾 基于信念点裁剪策略树的POMDP求解算法 被引量:1 2013年 针对大规模部分可观察马尔可夫决策过程(POMDP)算法中策略树规模指数级增长、已证信念点(witness point,WP)求解困难的问题,根据策略树值函数是分段线性凸函数的特点,提出一种基于信念点的策略树增量裁剪和值迭代求解算法.在策略树生成过程中,利用边界点进行无损裁剪,利用中间点进行有损裁剪,并利用实时信念状态分布求取近似最优解.对比实验结果表明,该算法能快速收敛,以更少的时间获得相当精度的奖赏值. 郑红燕 仵博 冯延蓬 孟宪军基于FPOMDP的无线传感器网络动态调度算法 被引量:1 2012年 针对无线传感器网络节点能量有限、数据采集易受环境影响的问题,提出一种基于可分解部分可观察Markov决策过程FPOMDP(Factored Partially Observable Markov Decision Process)的节点休眠调度算法。通过节点空时相关模型求取休眠节点数据,利用网络数据准确性和节点能量间的条件独立关系,构造状态转移函数、观察函数和奖赏函数,采用值迭代求解算法求取最优策略,实现节点动态调度。仿真结果表明,该算法能够在保证数据准确性的前提下,有效降低节点能量消耗,延长网络生存时间。 冯延蓬 仵博 郑红燕关键词:无线传感器网络 基于Markov决策过程的无线网络传输功率控制策略 2013年 针对同频AP在重复覆盖区域存在干扰问题,分析STA移动性和链路状态可观察的特点,引入概率论思想,提出一种基于Markov决策理论的单链路功率控制算法,通过构建单传输链路的状态集、动作集、状态转移函数模型及报酬函数模型,实现AP功率调整策略的动态生成和在线调整;利用OPNET仿真平台,搭建IEEE802.11b无线网络实验环境,实验结果表明该算法有效降低了AP能量消耗,提高了网络吞吐率。 郑红燕 冯延蓬 仵博关键词:无线局域网 无线接入点 马尔可夫决策过程 认知无线电中一种n步串行信道感知策略 被引量:1 2013年 为了提高频谱感知的整体性能,基于链路层多认知用户集中式协作感知思想,提出一种带缓冲区的双周期n步串行协作感知机制。该机制利用多认知用户分时、分段协作提高频谱感知效率,建立频谱池缩短被中断用户切换延迟时间,使用离散马尔可夫模型对感知参数建模,通过求解最优搜索步长和双感知周期比,提高认知用户频谱感知性能和QoS。仿真实验结果显示,该算法在感知效率、被迫中断概率和中断时间方面均优于随机搜索和传统串行搜索策略。 郑红燕 冯延蓬 仵博 孟宪军关键词:认知无线电 频谱感知 协作感知 马尔可夫决策过程 一种基于模型的可分解贝叶斯在线强化学习 被引量:2 2014年 针对贝叶斯强化学习中参数个数巨大,收敛速度慢,无法实现在线学习的问题,提出一种基于模型的可分解贝叶斯强化学习方法.首先,将学习参数进行可分解表示,降低学习参数的个数;然后,根据先验知识和观察数据采用贝叶斯方法来学习,最优化探索和利用二者之间的平衡关系;最后,采用基于点的贝叶斯强化学习方法实现学习过程的快速收敛,从而达到在线学习的目的.仿真结果表明该算法能够满足实时系统性能的要求. 仵博 郑红燕 冯延蓬 陈鑫关键词:马尔可夫决策过程 基于信念重用的WSNs能量高效跟踪 2012年 针对无线传感器网络(WSNs)中目标跟踪性能与传感器能量消耗难以平衡问题,提出一种信念重用的WSNs能量高效跟踪算法。使用部分可观察马尔可夫决策过程(POMDPs)对动态不确定环境下的WSNs进行建模,将跟踪性能与能量消耗平衡优化问题转化为POMDPs最优值函数求解过程;采用最大报酬值启发式查找方法获得跟踪性能的逼近最优值;采用信念重用方法避免重复获取信念,有效降低传感器通信带来的能量消耗。实验结果表明:信念重用算法能够有效优化跟踪性能与能量消耗之间的平衡,达到以较低的能量消耗获得较高跟踪性能的目的。 仵博 吴敏 郑红燕 冯延蓬关键词:无线传感器网络 部分可观察马尔可夫决策过程