国家自然科学基金(61100020)
- 作品数：8 被引量：22H指数：3
- 相关作者：龚奕利郭凯胡创郑彪刘恋更多>>
- 相关机构：武汉大学中国科学院密歇根大学更多>>
- 发文基金：国家自然科学基金国家科技重大专项国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于可变长分块的分布式文件系统设计与实现被引量：4
- 2016年
- 分布式文件系统受传统磁盘文件系统影响，大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写，开销大且性能差，但典型的用户约有25％的文件操作是随机写。针对上述现状，提出一种基于内容的可变长文件分块方法，使用拉宾指纹算法对文件进行分块，并根据文件的内容标识文件块。为更准确地指定写类型，提高写性能，给出与POSIX语义兼容的写接口。通过修改Ceph实现一种新的分布式文件系统VarFS，提供文件的可变长分块并支持新的写接口。实验结果表明，由于减少网络数据传输量，VarFS在随机写延迟和带宽消耗量上比Ceph减少了1个～2个数量级。
- 许艳艳雷迎春龚奕利
- 关键词：分布式文件系统元数据服务器
- 基于分布式文件系统的MPP数据库扫描调度研究被引量：3
- 2018年
- 基于分布式文件系统的MPP(大规模并行处理)数据库是目前的研究热点,为改善其执行查询扫描操作前调度执行单元读取数据块的过程,提出一种基于节点负载的调度策略NLS。这种策略同时结合数据本地性和节点负载,通过本地读分配保证调度结果满足良好的数据本地性,基于节点的实时工作负载对中间调度结果进行重分配调整,以达到减少数据扫描操作完成时间的目标。实验结果表明,相比连续性调度策略FCS,NLS在保持90%以上数据本地性的同时,在完成时间上的优化最多达到32%,在测试的9种情况中平均优化25%。
- 郭凯龚才鑫龚奕利雷迎春
- 关键词：分布式文件系统数据库查询调度
- 多线程环境下基于多预取点的文件预取被引量：1
- 2012年
- 为解决当前Linux内核的预取算法在多线程情况下出现预取误判的问题,依据多线程环境下进程对磁盘文件的访问特点,提出一种基于多预取点的预取算法。在Linux内核原有的预取算法的基础上,结合多线程环境下应用程序对数据的访问模式,在Linux内核的页面缓存层进行了实现。实验和分析表明,在IOzone单线程测试中,该算法和Linux内核原预取算法性能相当;在多线程测试中,读取相同大小的文件,耗时比Linux内核原预取算法至少少1/3。新算法对于提高I/O并行度,从而提高整个计算机系统并行化很有帮助。
- 刘金胡创胡明龚奕利
- 关键词：多线程LINUX内核
- 一种基于GPU的移动对象并行处理框架被引量：2
- 2016年
- PGrid是一个基于格网索引的移动对象并行处理框架。通过分析PGrid框架不利于在GPU上并行的因素,提出基于GPU的无锁并行处理G-LFPP(GPU Based Lock Free Parallel Processing)框架。采用基于操作分解/聚类的无锁更新策略,消除更新过程中并发控制对更新性能的影响;为了实现细粒度并行查询,提出基于候选集映射表和查询确认表的快速查询索引。实验表明,该方法更新和查询策略有利于大规模线程并发处理更新和查询。当移动对象的数量达到千万级时,更新速率和查询速率仍然可以超过每秒1100万次和110万次。与PGrid相比,并发处理更新和查询的速度提高了6.61倍。
- 韦春丹龚奕利李文海
- 关键词：并行计算图形处理单元异构计算移动对象数据库
- 分布式文件系统中元数据操作的优化被引量：6
- 2012年
- 分析了PVFS2中的元数据操作流程,以remove操作为例,通过测试发现其瓶颈之处,提出一种将判断过程放置到服务器端来减少通信次数的优化方法,这些方法同样可以应用于其他元数据操作。在PVFS2中实现了该优化方法,并将其同原来的remove操作耗时进行了对比,结果表明,该元数据操作的性能提高了10%左右。
- 刘恋郑彪龚奕利
- 关键词：分布式文件系统
- 低带宽广域网环境下的一致性算法研究被引量：1
- 2016年
- 基于消息传递机制的Paxos算法在执行过程中需要进行大量网络通信,应用于广域网环境时易受带宽的限制而影响算法效率。为此,对Paxos的通信模型进行优化,提出改进的W-Paxos算法。通过在每个数据中心内部增设代理节点来接收、处理和发送广域网消息,从而大幅减少广域网消息数量,解决因Paxos消息过多而引发的网络拥塞、延迟增加等问题。由于仅对经典Paxos的通信模型进行优化,因此改进算法适用于多数Paxos协议族中的协议。实验结果表明,在低带宽环境下,W-Paxos产生的消息数量较Mencius和EPaxos算法更少,能有效减缓领导者的负载压力,提高吞吐率并降低通信延迟。
- 马文韬胡创王文杰龚奕利
- 关键词：一致性分布式系统代理
- 基于细粒度数据分离与融合的虚拟机多镜像设计与实现被引量：1
- 2014年
- 为了节约存储空间和方便系统升级,将虚拟机镜像中的系统数据和用户数据分离存储是云计算中心内常见的做法。目前主流的使用方法是以系统镜像启动虚拟机,再将用户数据以磁盘形式挂载,但这种粗粒度的融合方式导致数据分离对用户可见,同时用户数据无法覆盖系统数据,系统缺乏灵活性。针对这些问题,通过分析系统镜像和用户镜像合并启动和使用的原理,提出了一种将多个镜像文件细粒度混合到运行时文件系统的方案,并借助于UnionFS文件系统工具,在KVM虚拟机环境下实现了多镜像在文件目录级别上的完全混合。实验结果表明,其实现了设计预期功能,同时对于KVM虚拟机开机启动时间和文件系统读写性能没有较明显的负面影响。
- 盖玲郭凯龚奕利
- 关键词：虚拟机KVM细粒度
- 基于共享存储的MPP数据库连接执行研究被引量：4
- 2018年
- 为解决哈希分布表转换为随机分布表后连接效率低的问题,提出一种大规模并行处理数据库中哈希表的并行连接操作算法。根据共享存储环境下哈希分布表的数据块分布特性,并结合随机读取的扫描优势,利用数据多副本分布式存储提高本地读比率,且不损失数据块哈希分布的特性。TPC-H标准测试结果表明,与传统并行连接算法相比,该算法能有效提高连接操作效率,连接查询语句最高可降低30%的响应时间。
- 孙庆鑫雷迎春龚奕利
- 关键词：大规模并行处理大数据
