公共文化服务平台

一种容三盘失效纠删码的单数据盘失效快速重建方法被引量：3: 2013年; 现代存储系统采用纠删码避免因磁盘故障导致的数据丢失，提高系统的可靠性和可用性.因容三盘失效纠删码，如TP编码和STAR编码，可同时容忍系统中任意3个磁盘损坏，可靠性超过RAID6编码，故而受到越来越多的关注.针对发生频率最高的单盘故障实现快速重建恢复数据服务，尚未得到有效实现.重建方案有多种，选择何种重建方案会影响重建性能甚至影响前端服务的响应时间.传统的单盘重建方法不仅耗时良久而且会造成带宽的浪费.针对单盘重建中传统方法的缺点，提出一种均分机制方法，利用处于“均分状态”的重建校验集合推理出单盘重建时所使用的数据量的最优解从而找出最佳重建方案，减少磁盘I/O时间，以加速重建过程.测试结果表明与传统方法相比，均分机制方法减少TP编码25%～30.6%和STAR编码30%～33.64%的磁盘读数据量，使重建时间显著减少；且在不同的数据块和不同的磁盘个数时，均分机制方法的重建性能均优于传统方法.; 邱丽娜王芳李楚; 关键词：磁盘阵列可靠性

异构Hadoop集群下的负载自适应反馈调度策略被引量：12: 2017年; 随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.0上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。; 潘佳艺王芳王芳王芳; 关键词：异构集群动态调度负载自适应

基于Zookeeper的分布式锁服务及性能优化被引量：15: 2014年; 在分布式系统中,资源可能同时被多个客户端申请访问,协调控制客户端和服务器的操作,保证数据访问的正确性和性能是资源的一致性控制要考虑的问题.常用方法是采用定制开发实现其功能或利用现有平台如Hadoop Zookeeper加以实现.Zookeeper是Hadoop的正式子项目,用于提供高效和稳定的一致性服务接口,基于它可以实现分布式锁、配置维护等服务.基于Zookeeper的一致性服务设计实现了分布式锁服务;分析锁服务器端请求处理过程,明确了上锁操作的性能瓶颈在于Zookeeper磁盘IO操作,提出了替换存储介质的方法,Zookeeper上锁性能提高90%;为了进一步减少网络开销,提出分布式锁逻辑移植方法,上锁性能提高20%以上.; 刘芬王芳王芳; 关键词：分布式系统

SSDKV:一种SSD友好的键值对存储系统被引量：1: 2016年; 当前大量键值对(Key-Value)存储系统使用固态硬盘(SSD)改善系统的I/O响应速度。但是现有的键值对存储系统应用程序使用标准文件系统处理数据在固态硬盘上的存储,这对应用程序而言底层固态盘的物理特性被屏蔽,同时固态盘也无法针对应用程序的特定I/O模式进行优化,使得基于固态盘的键值对系统性能没有得到充分发挥。针对此问题,设计了同时考虑键值对应用程序存取行为和SSD存储器访问特性的存储管理模块,并与LevelDB结合实现了一种轻量级的、将上层应用与底层存储集成一体的键值对系统—SSDKV。它提供键值对接口给外部程序,结合键值对数据的特点构造适应SSD的数据布局。SSDKV简化了传统文件系统对键值对数据的额外处理,并根据键值对数据的类型及其存取模式对SSD存储空间进行有效管理,使得基于SSD设备的键值对系统性能进一步提高。通过基准程序测试,与运行于传统文件系统上的LevelDB相比,SSDKV使得写性能提高达4倍,读性能提高达1.5倍。; 梅飞曹强; 关键词：固态硬盘存储管理

嵌入式P2P VOD系统上面向内容的动态缓存策略: 2014年; 随着P2P技术的发展和IPTV的逐步推广,两者的结合应用越来越广泛。P2P流媒体的实质是基于分享的精神,充分利用每个客户的上传带宽,以减少流媒体服务器端的负载。关于VOD点播中的P2P技术,现有的大部分研究都集中在节点的选择策略、P2P网络的拓扑结构以及各个客户端的上传带宽和上传质量等。这些研究显著地改善了P2P点播系统的性能。采用基于嵌入式系统的面向内容的P2P点播缓冲机制,可以最大限度地减少嵌入式系统弱点(存储容量非常有限)的影响,并基于内容热度做出智能的缓冲机制。使用这种新的机制,嵌入式P2PVOD系统可以得到一个较小的网络组建时间和更高的数据共享率。; 王攀黄浩谢长生; 关键词：P2P VOD技术动态缓存嵌入式系统

面向云存储的I/O资源效用优化调度算法研究被引量：9: 2013年; 随着云计算的普及,越来越多的客户选择使用基于云的服务,以避免冗余的设施购买费用和繁杂的系统设计与维护,从而将精力集中在自己的专业领域.通常,云服务的客户从云服务供应商购买虚拟机,并根据双方商定达成的服务水平目标(service level objective,SLO)约束购买到的计算资源.分布式存储中大量的文件分布在不同的存储节点上,现有的CPU、内存以及带宽等资源的分配调度算法并不适用磁盘I/O资源.从云服务提供商的角度来说,高效用的I/O资源调度算法有利于提高其系统的利用率,节约资源开销并增加企业收益率.从云存储提供商为获取高效率高收益率的角度考虑,通过对用户的虚拟机在不同存储节点上的访问特性建模,提出了一个新的自适应分布式I/O资源调度算法,简称为PC算法.PC算法能够:1)根据用户与服务商之间制定的SLO,动态地在各个存储节点中为每个虚拟机制定适当的局部SLO,满足虚拟机对个体节点的访问需求;2)为各虚拟机提供高效健壮的资源分配策略,既能尽可能利用I/O资源,又避免由无序的I/O资源竞争导致的虚拟机I/O资源饥饿.PC算法能够根据不同的I/O资源供应状况在两种调度策略间自动切换,当系统I/O资源充足时,算法采用最早截止时间优先算法(earliest deadline first,EDF)方式提高I/O资源使用率;反之则根据每个I/O请求的预计效益来提高总收益率.实验结果表明,在不采用预先设定虚拟机对各个节点访问量的前提下,PC算法能根据访问模式制定合理的资源分配,提高系统的I/O资源利用率和收益.; 王健宗谌炎俊谢长生; 关键词：I 收益最大化

基于日志结构合并树的大规模键值存储系统优化方法研究: 大数据技术的蓬勃发展,需要对海量数据进行高效保存和处理,从而对存储系统提出更高性能需求。基于日志结构合并树(Log-Structured Merge-Tree)实现的键值存储系统,在处理写请求时能够将小颗粒的随机写聚集成...; 梅飞; 关键词：日志结构键值; 文献传递

可配置及历史信息感知的多级缓存策略: 2015年; 传统磁盘存储设备因其固有的机械特性,已不能满足当前的数据密集型应用程序的需求。基于闪存的固态存储设备(solid state drive,SSD)的出现改善了这种情况,并被广泛用作缓存以降低内存与磁盘之间的性能差距。针对由DRAM和SSD构成的多级缓存,提出了一种可配置的历史信息感知的多级缓存替换策略Charm.Charm允许用户配置应用的访问模式、读写模式等多项内容,并且还可以根据应用对文件的历史访问信息来判断访问模式,从而能够适应访问模式的变化.此外,Charm过滤掉那些只访问一次的数据,将多次访问的热数据缓存至SSD,减少对SSD的写入次数,提升SSD寿命.使用MCsim对Charm与现有的多级缓存替换算法进行了对比测试,在实际的工作负载下,Charm优于其它多级缓存算法.; 祖文强王芳王芳王芳; 关键词：动态随机存取存储器固态盘缓存替换算法

面向纠删码存储集群的弹性I/O调度机制研究被引量：1: 2014年; 纠删码存储集群已经成为适应大规模数据中心的典型容错存储方案.纠删码存储研究主要从新型编码和存取过程优化2个方面展开,从存取过程角度来优化纠删码存储集群的可靠性和能效性.具体地,结合系统运行状态,建立一种与运行状态相匹配的弹性I/O调度策略,即,节点正常运行时,在保证用户性能的前提下,将一部分节点切换到休眠状态,以降低存储系统的当前功率;节点失效时,以提升系统可靠性为目标,对失效数据进行流水线高速重构,最小化数据恢复时间.分别设计了具有节能特性的正常模式方案ECS2和能够加速恢复的Pipe-Rec方案,并在Reed-Solomon码存储集群(其中,编码参数k=6,r=3)中实现了原型.能耗对比测试表明:ECS2在读密集型和写密集型负载下分别能节约29.8%和28%的能耗;而重构对比测试表明:Pipe-Rec方案的重构性能是传统同步式重构方案的5.76倍.; 黄建忠梁先海曹强谢长生; 关键词：集群存储 I/O调度数据重构

面向纠删码存储集群的节点并发重构被引量：1: 2016年; 纠删码存储集群的一个关键设计目标是降低重构I/O所引起的网络流量,因为降低网络流量有助于缩短重构时间,进而提高可靠性.针对2个或多个失效节点并发重构这一研究话题,提出一种交叉式重构方案(interleaved reconstruction scheme,IRS).所有替换节点能协同、并行地重构所有失效分块.通过对现有集中式重构方案(centralized reconstruction scheme,CRec)和分散式重构方案(decentralizedreconstruction scheme,DRec)的I/O流进行分析,分析发现CRec中存储管理器和DRec中替换节点是重构性能的瓶颈.针对此,IRS从2个方面进行改进:1)替换节点充当重构节点进行并行式重构,消除CRec中管理器这一重构瓶颈;2)利用纠删码的编码结构特性,所有替换节点协同地重构所有失效分块,确保重构时只传输一次所需存活分块.在Reed-Solomon码存储集群上实现了上述3个重构方案,并用真实I/O trace进行对比测试.实验结果表明:当纠删码存储集群的编码参数为k=9和r=3时,IRS方案的双节点重构性能是其他2种重构方案的1.63倍;而3节点重构性能是其他2种重构方案的2.14倍.; 黄建忠曹强黄思倜谢长生; 关键词：集群存储

渝B2-20050021-1　渝公网安备 50019002500403号　违法和不良信息举报中心　互联网出版许可证　新出网证(渝)字10号

国家高技术研究发展计划(2013AA013203)

文献类型

领域

主题

机构

作者

传媒

年份

用户反馈

国家高技术研究发展计划(2013AA013203)

文献类型

领域

主题

机构

作者

传媒

年份

用户登录

用户反馈