国家高技术研究发展计划(2013AA01A211)
- 作品数：15 被引量：86H指数：5
- 相关作者：沈佳杰王肃江红邢晶郑凯更多>>
- 相关机构：华东师范大学中国科学院中国科学院大学更多>>
- 发文基金：国家高技术研究发展计划国家重点基础研究发展计划国家自然科学基金更多>>
- 相关领域：自动化与计算机技术文化科学理学更多>>
- 一种支持海量数据备份的可扩展分布式重复数据删除系统被引量：5
- 2013年
- 现代信息化社会中,数据的爆炸式增长使得存储和管理数据的成本越来越高,数据备份和恢复的时间越来越长,数据中心的能耗越来越严重.重复数据删除技术在缓解数据的高速增长和节约成本方面有很好的应用前景.然而面对日益增长的海量数据,重复数据删除技术需要在数据路由和指纹查询方面提供高可扩展的支持.对于数据路由,提出了基于分布式布隆过滤器(Bloom Filter)的有状态数据路由技术:拆分Bloom Filter并将其分布于多节点并发管理,可以在提高数据路由的扩展性同时降低其通信开销.对于去重节点内的指纹查询,提出了基于取样机制的指纹查询优化方法:通过可扩展Hash结构组织海量取样指纹信息,并根据取样指纹的时间局部性原理对指纹缓存进行管理.为了对研究工作进行评价,设计并实现了分布式重复数据删除系统3D-deduper(distributed data deduplication system),并进行了数据路由和去重性能相关的测试.实验结果表明,基于分布式布隆过滤器的数据路由技术能够使得分布式重复数据删除系统维持与单节点重复数据删除系统相当的去重率,波动低于5%.在取样查询方面,数据去重率在取样率为1?32时仍能达到非取样重复数据删除系统数据去重率的95%以上.在去重性能方面,单节点去重带宽最高可达到200MBps.在节点扩展时,去重带宽仍能保持近似线性的扩展性.
- 刘厚贵邢晶霍志刚安学军
- 关键词：重复数据删除
- 基于速度概率和自适应速度值的差分进化算法被引量：4
- 2014年
- 针对于离散差分进化算法在问题规模较大情况下难以找到全局最优值和收敛速度慢的问题,通过引入速度概率和自适应速度值,提出了一种改进的二进制差分进化算法。通过理论推导,改进的差分进化算法可以有效提高离散差分进化算法对于复杂问题的全局最优值搜索能力和收敛速度。在使用经典0-1背包问题进行的实验中,验证了理论推导的结论正确性以及改进的差分进化算法可行性。
- 沈佳杰江红王肃
- 关键词：差分进化算法
- 一种支持EB级存储的可扩展存储空间管理方法被引量：1
- 2013年
- 随着海量数据应用的增多,机群文件系统需要具备对PB甚至EB级存储空间进行管理的能力.受数据位置信息维护方法的限制,在面对需要管理的百亿甚至万亿个对象时,对象存储服务器在数据定位、负载均衡和复本维护方面均存在可扩展处理的问题.为了满足日益增长的存储需求,提出了一种可扩展的存储空间管理方法.首先,该方法将存储空间中的对象位置信息通过Extendible Hashing以两级索引结构的方式进行组织,以此来支持对海量对象位置信息的扩展性管理;其次,该方法依靠对象位置信息在多服务器的分布结果来放置对象,文件系统能通过对索引结构的调整以较低开销实现负载均衡;最后,该方法以数据位置信息组织的索引结构为粒度进行复本维护以降低复本位置信息的维护开销.实验评测表明,存储空间管理方法能够支持海量数据的高效管理.在负载均衡方法的作用下,多存储服务器的I/O聚合带宽因负载均衡而能够取得10%的提升.相比Lustre和DCFS3,该系统在多客户端并发访问环境下具有更好的扩展性能.
- 邢晶熊劲孙凝晖马捷
- 关键词：机群文件系统海量存储数据放置数据定位
- 基于SPOC的计算机实验教学云平台设计与实践被引量：25
- 2019年
- SPOC教学模式使实体课堂与在线教育相融合,具有规模小、有准入性限制等特点,相对传统教学模式在提高教学效果上有较大的发展空间。基于SPOC教学模式,阐述了针对高校非计算机专业学生的计算机实验教学云平台功能设计,及其在教学实践中的应用路线。教学实践表明,通过将传统课堂教学与线上学习有机结合,发挥了学生个性化学习和主动学习的作用,教学效果大大提高。
- 蔡建华胡文心张凌立
- 关键词：实验教学
- 基于关键词的云计算语义文本自适应分类
- 2014年
- 传统语义文本分类方法难以高效地在云计算环境下进行中文文本快速分类。为解决该问题,提出一个在云计算环境下基于语义关键词提取的分布式中文文本自适应分类算法,在代理端对中文文本关键词进行基于语义的分布式提取,并将提取出的中文关键词传输到中心数据库端进行整合,从而确定文本本身类别。通过理论证明在关键词提取数量足够的情况下,提出的文本分类算法可以在保证中文文本分类效果的前提下,有效降低网络传输的代价,从而提高中文文本分类算法在云计算环境下的性能。实验结果验证了该算法在云计算环境下的可行性以及理论推导的正确性。
- 沈佳杰江红王肃
- 关键词：云计算关键词提取语义计算
- 基于Kademlia的负载平衡云存储算法被引量：1
- 2015年
- 针对采用主从式结构的主流云存储系统可能出现的性能瓶颈和可扩展问题,基于分布式哈希表(DHT)技术的完全分布式云存储系统成为一种新的选择。解决好节点的负载平衡问题,是此类技术获得推广的关键。研究了Kademlia算法应用于云存储系统的负载平衡性能。考虑到算法在异构环境下负载平衡性能有明显下降,改进算法在Kademlia找出的候选存储节点中根据节点的存储能力来分配负载。仿真结果表明,改进后算法的负载平衡性能有非常明显的提高,在系统模拟运行时间足够长(如1500 h以上)时,过载节点平均下降7.0%(轻载)和33.7%(重载);文件保存成功率平均提高27.2%(轻载)和35.1%(重载),而增加的通信开销可接受。
- 郑凯朱林陈优广
- 关键词：负载平衡分布式文件系统KADEMLIA
- 基于能量模型的多权值分簇算法被引量：1
- 2019年
- 分簇被广泛用于移动自组织网络以提高其稳定性和效率,并减小控制信息的开销。现有的分簇策略均有其局限性。对此,提出了一种基于能量模型的多权值分簇算法,称为Energy-AOW(EAOW)。该算法根据节点的能量模型,分析节点能量消耗的组成部分,在选举簇头时,综合考虑节点度数、节点传输功率、节点移动性、节点能量和节点处理能力等关键参数,形成节点的组合权值,分别选取组合权值最大和次大的节点担任簇头节点和候选簇头节点。在完成簇头选举后,依次进行簇结构的初始化、建立和维护。当节点移动或变化导致簇结构失效时,再根据上述策略重新选举。仿真试验表明,使用EAOW算法选举的综合性能最优的节点担任簇头明显地降低了节点整体的能量消耗,提高了网络的生存时间。同时候选簇头节点的设置也缩短了节点成簇时间并提高了网络的稳定性。
- 韩波郑凯
- 关键词：移动自组织网络分簇算法簇头节点
- 基于多点速度向量和自适应速度值的离散二进制粒子群算法改进被引量：4
- 2013年
- 针对标准的离散二进制粒子群算法在高维环境下迭代速度慢和易早熟的缺点,通过引入多点速度向量和自适应的速度计算方法,提出一个多点基于速度向量和自适应速度值的改进的自适应离散二进制粒子群算法,通过理论推导改进的离散粒子运算法可有效提高离散差分进化算法对于复杂问题先的全局最优值搜索能力和离散粒子群算法对于复杂优化问题的收敛速度。实验验证了理论推导的结果。
- 沈佳杰江红王肃
- 关键词：粒子群算法
- 基于K近邻统计的非线性AdaBoost算法被引量：1
- 2015年
- AdaBoost是数据挖掘领域最常见的提升算法之一。对传统AdaBoost将各个基分类器线性相加所存在的不足进行分析,并针对AdaBoost各个弱分类器的加权方式提出新的改进,将传统的线性相加改为非线性组合,把从学习过程得到的固定不变的权重系数改为由预测阶段的具体实例决定的动态参数,该参数基于待测实例K近邻的分类结果统计,从而使各个基分类器的权重更贴近当前待测实例的实际可靠度。实验结果表明,与传统AdaBoost相比,提出的非线性改进算法对不同数据集均有不同程度提升,提升最高的达到了7个百分点。由此证明,提出的改进是一种更加准确的分类算法,对绝大多数数据集均能得到更高的分类准确率。
- 苟富郑凯
- 关键词：ADABOOST数据挖掘分类器非线性K近邻
- 基于自适应缩放比例因子的差分进化算法被引量：7
- 2014年
- 针对于差分进化算法在高维多峰函数环境下易早熟和迭代收敛速度较慢的问题,通过引入自适应的缩放比例因子的方法,提出了一个基于自适应缩放比例因子的差分进化算法。通过理论推导改进的差分进化算法可以有效提高差分进化算法对于高维多峰函数全局最优值搜索能力和差分进化算法对于高维优化问题的收敛速度,并且通过形式化证明的方法分析了其可以提高着这些性能的具体原因,实验结果表明了理论推导以及对于改进差分进化算法性质分析的正确性。
- 沈佳杰江红王肃
- 关键词：差分进化算法
