国家高技术研究发展计划(2012AA012600) 作品数:12 被引量:42 H指数:4 相关作者: 姚文斌 王真 赵玲 姚翔 邹德清 更多>> 相关机构: 清华大学 北京邮电大学 清华大学研究院 更多>> 发文基金: 国家高技术研究发展计划 国家自然科学基金 北京市教育委员会共建项目 更多>> 相关领域: 自动化与计算机技术 更多>>
基于Remus的双机热备份优化机制研究 被引量:1 2014年 双机热备技术是虚拟化系统提高其高可用性的一种可靠的解决方案。双机热备技术一般都采用不断生成检查点的方法,将主节点上实时的状态更新传送到备份节点上面以实现主备份节点之间的状态同步。该系统在热备过程中如果遇到内存密集型应用时,传统的检查点技术会造成带宽的延迟,进而影响虚拟机双机热备的高可用性,或者在热备过程中心跳线失效而导致系统对主备虚拟机状态发生误判,从而导致系统不能正常运行。基于Remus系统的双机热备方式,提出了两种优化方案:第一是增量检查点压缩机制,第二是客户端辅助判断主虚拟机状态机制。实验测试表明,基于XOR-RLE的增量检查点压缩算法有效降低了内存密集型应用导致的带宽延迟,同时也验证了面向客户端的热备机制可大幅减少热备过程中系统误判的产生。 邹德清 向军 张晓旭 苑博阳 冯明路关键词:虚拟机 双机热备 高可用性 删冗系统数据冗余特征挖掘 被引量:1 2014年 作为一项能够有效缩减数据存储量的技术,重复数据删除在存储系统中获得广泛应用.然而,目前针对删冗系统数据冗余特征的研究存在不足,大多仅关注如何提高针对特定数据集的删冗率.本文对删冗系统文件层次的数据冗余特征进行更深入的挖掘.首先基于冗余数据块定义了文件和文件集合相关性的概念,将相关性挖掘问题归结为频繁项集挖掘问题.然后给出离线生成事务组数据库的流程,以便应用频繁项集挖掘算法进行相关性计算.最后提出内嵌到删冗系统之中的相关性挖掘增量式算法,从而准实时地进行数据冗余特征分析.通过本文工作可以更好地理解删冗系统中冗余数据的来源和分布,从而针对实际应用环境设计更有效的删冗算法和IO优化算法. 江志雄 陆春阳 余宏亮关键词:重复数据删除 频繁项集挖掘 大数据处理模式——系统结构,方法以及发展趋势 被引量:13 2015年 近年来,大数据处理的相关理论以及技术越来越受到工业界和学术界的重视.一方面,在科学研究过程中产生了大量的数据,对于数据的理解成为进行科学研究的一个重要手段.另一方面,随着信息技术的不断发展,企业在信息化过程中积累了大量的结构化和非结构化数据.企业管理与运营的这些数据已经成为企业的核心资产,深刻地影响着企业的业务模式,给企业决策、组织和业务流程带来显著的变化.因此,大数据处理的相关技术也受到工业界的极大关注.依据数据处理的时间特征,大数据处理模式可以分为"离线批处理式数据处理","查询式数据处理"以及"实时式数据处理"三种模式.本文从技术角度,总结了大数据处理的总体架构,并针对处理模式的不同,对大数据处理的不同层次进行展开讨论.大数据处理的基础是数据的存储,本文首先对大数据的存储展开一定的讨论,之后对上述三种模式展开叙述,使得读者能够对大数据系统的构建方面有一个初步的了解. 李贞强 陈康 武永卫 郑纬民关键词:大数据 系统结构 实时系统 数据处理 分布式存储 虚拟机内存轻量级检查点研究 2014年 针对传统的虚拟机检查点粒度大和做检查点时停机时间长的问题,采用空闲内存页面排空、写时复制和增量检查点来解决传统虚拟机检查点的问题,通过这三项技术使检查点技术轻量化.空闲内存页面排空通过在检查点中排除空闲页面,可以减少虚拟机检查点文件的大小;写时复制通过在虚拟机内存写入时进行内存页面复制,可以减少做检查点的时间;增量检查点通过内存增量页面的计算,检查点只包含增量信息,可以减少虚拟机检查点文件的大小.在虚拟化平台Xen上的实验结果表明:采用写时复制技术减少了做检查点过程中虚拟机的停机时间,停机时间不超过300ms,并可使检查点这一过程对上层应用透明;采用内存排空技术和增量技术来做检查点,使得检查点文件的大小减少20%. 羌卫中 刘玲 邹德清关键词:虚拟机 检查点 基于分区的部分最值查询优化算法 2014年 大规模数据库的建立和海量数据的不断涌现,需要从海量数据库和大量繁杂信息中提取有价值的知识,可以进一步提高网络安全信息的利用率.另一方面,网络信息安全分析在面临海量数据时,其查询效率会大大降低.分区技术使用户可以将大表分解为更小且更易管理的分区,从而解决海量数据带来的一些问题.本文讨论了分区条件下部分最值的查询方法,介绍了一种用于提高这种查询效率的RBP-T(rank bisection partition tree)树型结构,并给出了相应的搜索算法.通过实验证明,我们的方法对解决海量数据情况下的部分最值查询问题是有效的. 尹洪 杨树强 尹平 金松昌关键词:网络安全 海量数据 一种基于代数映射的相变内存矩阵磨损均衡方法 被引量:2 2012年 相变内存是一种新兴的存储技术.相对于动态随机访问内存,相变内存具有高可扩展性和低功耗等特点,因此被认为是最有潜力的下一代存储技术.相变内存面临的挑战之一是其存储单元只能经受有限次写操作.因此,如何提高相变内存的耐久性成为亟待解决的问题.提出了一种基于代数映射的相变内存矩阵磨损均衡方法.该方法在每一列和每一行分别进行磨损均衡.通过从行和列两个维度进行两级地址映射,任意逻辑块都可以既在某个列地址空间中进行地址重映射,而被映射到任意一个行中;同时又可以在某个行地址空间中进行地址重映射,而被映射到任意一个列中.设计并实现了一个仿真系统来验证该方法,并进行了详细的功能正确性和抗攻击性能测试.矩阵磨损均衡有效地实现了相变内存抗不均衡写访问、抗恶意写攻击和降低磨损均衡引起的额外写访问开销等目标. 杜雨阳 余宏亮 郑纬民关键词:耐久性 容灾信息系统的建模与仿真 被引量:3 2015年 针对容灾信息系统难以量化和评价的问题,提出了一种通用的容灾信息系统建模方法,设计并实现了容灾仿真系统.基于网络3层架构模型构建了系统仿真模型,采用故障注入技术实现了灾难事件仿真,并基于脚本编程实现了容灾信息系统运行过程仿真.设计了仿真一致性、恢复时间目标、恢复点目标和可用存储量指标实现对仿真系统的评价.实验结果表明,容灾仿真系统满足设计目标,能够为信息系统灾备建设、容灾信息系统灾难恢复能力评价和系统维护提供数据支撑. 姚文斌 赵玲 王真 姚翔 韩司关键词:系统仿真 系统容灾 灾难备份 虚拟域内访问控制系统的保护机制研究 被引量:4 2014年 为有效提高系统的安全等级,利用虚拟机管理程序的隔离性和高特权性,提出了一种新的保护操作系统内核完整性和虚拟域内访问控制系统的安全的方案。在该方案中,访问控制系统分为三个部分:安全策略管理模块、安全服务器模块和策略执行模块。虚拟域内访问控制系统保护机制的原型系统SEVD(security-enhanced virtual domain,SEVD)通过修改Xen虚拟机管理程序,在该虚拟化平台上实现。测试结果表明SEVD系统能够有效保护客户操作系统中访问控制系统的安全,能够抵御流行的Rookit攻击;在性能方面,与SELinux访问控制系统相比,SEVD性能开销也是没有增加,并实现了虚拟环境下安全策略集中配置,有效降低了安全策略管理的复杂度。 邹德清 杨凯 张晓旭 苑博阳 冯明路关键词:虚拟化 内存保护 TDDS:基于虚拟集群系统的任务部署与调度 被引量:4 2013年 利用虚拟机的灵活性和快速部署能力,设计并实现了任务部署与调度系统(task deployment and dispatch system,TDDS).TDDS能够根据用户的需求,为用户的计算任务提供可以进行资源配置的集群计算环境,满足了用户对不同操作系统、不同应用程序和不同计算资源的需求.TDDS还使用了负载均衡策略,以提高物理集群资源的利用率.提出了两种虚拟机部署策略,用以加快虚拟集群部署的速度.TDDS尽量控制虚拟机系统镜像的大小和访问频率,以提高部署的效率.实验表明,TDDS系统能够快速灵活地部署用户所需要的计算环境和计算资源,负载均衡的调度策略也切实提高了物理集群处理任务的能力,提高了集群的使用率. 冯琳 付勇 陈康 郑纬民关键词:虚拟集群 虚拟机 集群 调度 基于自回归模型的网络数据去重算法的设计 被引量:2 2014年 为了提高网络带宽利用率,实现网络负载和传输效率的平衡,提出了一种基于网络流量自回归技术的网络数据去重算法ANTREA.该算法将数据传输分割成多个传输单元,在每个传输单元中分成去重传输和直接传输2部分,前一部分实现去除冗余数据后传输,后一部分数据则利用空闲带宽实现传输.通过为每个传输单元的网络状况建模,预测下一个传输单元的网络可用带宽及查重处理时间,并据此调整直接传输的数据量,以求充分利用空闲带宽,提高网络带宽利用率.实验结果表明,ANTREA算法可以根据网络状况自动调整传输策略,能够充分利用网络带宽以实现更高的数据传输效率,比EndRE算法有更好的网络适应性,在10 MB/s的网络环境下,传输吞吐量几乎为EndRE的7倍. 叶鹏迪 姚文斌 李小勇关键词:网络传输 自回归模型