朱叶青
- 作品数：3 被引量：6H指数：1
- 供职机构：江苏大学计算机科学与通信工程学院更多>>
- 发文基金：浙江省自然科学基金江苏省自然科学基金国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- SCMPFS:面向SCM的聚合文件系统被引量：1
- 2015年
- 由于NVM器件集成度和DIMM接口数量的限制,大容量SCM系统中必然包含DIMM接口和PCIe接口NVM存储设备.这2类NVM存储设备在访问接口、访问方式、I/O性能、存储容量和内嵌处理能力等方面存在很大差异,这使得现有的内存和外存均难以直接应用与统一管理2类NVM存储设备;同时不同文件、文件数据与元数据、文件内各部分数据之间的访问特性和管理要求也不相同,这给高效管理大容量SCM系统带来了极大的挑战.提出了面向SCM的聚合文件系统SCMPFS,统一管理2类NVM存储设备.首先给出了聚合文件系统的结构;接着给出了元数据分层管理算法,具有元数据属性和NVM存储设备的特性,重构元数据的组织结构,将元数据属性合理分布到2类NVM存储设备中,提高元数据查找速度和管理效率;设计了数据聚合管理算法,通过打破文件数据的单一组织结构、通过文件数据在2类NVM存储设备之间的合理分布,提高访问文件的响应速度和文件系统的I/O性能,有效利用2类NVM存储设备中的存储容量;最后使用ramfs和PMBD分别模拟DIMM接口和PCIe接口NVM存储设备,在FUSE的基础上实现了SCMPFS的原型,使用postmark和Linux内核源码进行了测试与分析,验证了SCMPFS相比PMBD上Ext3能提高30%~63%的I/O性能,接近与PMFS,同时避免DIMM接口NVM存储设备容量的限制;此外测试也表明软件和接口开销成为影响大容量SCM系统性能的重要因素之一.
- 何耀牛德姣蔡涛朱叶青
- 关键词：非易失存储器元数据
- 不同网络环境下大数据系统的测试与分析被引量：5
- 2016年
- 为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例程等进行了测试.测试结果表明相比使用TCP/IP,使用IPoIB能提高Hadoop的I/O性能4.6-5.6倍,减少Tachyon数据处理的时间开销达2%-27%,减少了Spark 90%-95%的时间开销,同时Spark性能提高了46倍.此外使用RDMA相比IPoIB减少了3%-15%的系统开销.最终分析得出,高速网络架构和高效通讯协议能有效提高大数据处理系统的I/O性能、处理效率和适应能力.
- 朱叶青牛德姣蔡涛何耀
- 关键词：HADOOPTACHYONSPARKINFINIBANDRDMA
- SCMPFS:面向SCM的聚合文件系统
- 由于NVM器件集成度和DIMM接口数量的限制,大容量SCM系统中必然包含DIMM接口和PCIe接口NVM存储设备.这2类NVM存储设备在访问接口、访问方式、I/O性能、存储容量和内嵌处理能力等方面存在很大差异,这使得现有...
- 何耀牛德姣蔡涛朱叶青
- 关键词：元数据
- 文献传递
