夏芳
- 作品数:46 被引量:48H指数:4
- 供职机构:北京应用物理与计算数学研究所更多>>
- 发文基金:中国工程物理研究院科学技术发展基金国家高技术研究发展计划国家重点基础研究发展计划更多>>
- 相关领域:自动化与计算机技术电子电信理学自然科学总论更多>>
- 高功率微波数值仿真通用数据格式及其I/O接口
- 针对高功率微波数值仿真系统多物理过程耦合和应用程序间的数据交换与共享问题,分析了数值仿真程序多维、多物理量、时空相关等数据特征,引入了支持自描述、二进制跨平台的HDF5作为底层数据存储格式,提出了面向高功率微波数值仿真的...
- 陈虹夏芳卫超宋磊
- 关键词:高功率微波数值仿真数据模型数据格式
- 一种科学计算应用的快速I/O方法——双路并行I/O
- 2014年
- 许多并行科学计算应用使用HDF5等数据格式管理计算数据与元数据。一般条件下,科学计算数据与元数据有不同的存储特征。数据存储规模较大,可以在并行文件系统中获得较高的I/O效率。元数据存储规模较小,难以发挥并行文件系统带宽。一旦数据与元数据混合存储,元数据I/O将较多的干扰数据I/O,降低总的I/O效率。针对数据与元数据的不同I/O特征,本文设计双路I/O系统,该系统优化元数据的存储位置。将元数据存储于容量较小、但是延迟较低的固态盘文件系统中,在降低元数据I/O延迟的同时提高数据I/O的连续性。实验表明,双路并行I/O可以提高数据读带宽3倍左右。
- 曹立强沈卫超夏芳
- 关键词:数据模型数据格式
- 高功率微波数值仿真通用数据格式及其I/O接口
- 2011年
- 针对高功率微波数值仿真系统多物理过程耦合和应用程序间的数据交换与共享问题,分析了数值仿真程序多维、多物理量、时空相关等数据特征,引入了支持自描述、二进制跨平台的HDF5作为底层数据存储格式,提出了面向高功率微波数值仿真的高层语义数据模型,定义了支持多网格、多物理量的核心数据结构,开发了统一的数据操作、应用程序接口,研制了面向对象的高层数据I/O函数库JADLib,建立了统一形式的数据结构和数据存储格式,使得程序数据在不同计算机平台、不同应用间交换和共享,从而减少了研究人员在程序中的重复编码和数据转换工作.通过典型程序的实际应用,验证了高功率微波数值仿真高层数据模型、通用数据格式和JADLib函数库的有效性.
- 陈虹夏芳沈卫超宋磊
- 关键词:高功率微波数值仿真数据模型数据格式
- 利用位图索引加速大规模科学数据按需访问
- 在分析TB及以上规模复杂科学数据时,实现关键数据的快速定位是一项非常具有挑战性的任务.通过引进目前国际最新位图索引技术,设计并实现科学数据按需访问软件系统,综合利用分段、编码、WAH压缩等位图索引改进策略,减少索引尺寸规...
- 夏芳陈虹曹立强沈卫超
- 关键词:科学数据位图索引查询处理
- 文献传递
- 一种基于用户需求的基准测试方法被引量:2
- 2003年
- 科学数据管理在高性能计算中发挥着越来越重要的作用 ,作为构建科学数据管理的关键支撑部分 ,数据库应用的性能和对它的测试评估显得尤为重要。科学数据管理系统是一种新的数据库应用 ,目前尚没有一个针对科学数据管理应用提出的基准测试程序。文中对数据库性能测试技术和基准测试标准进行了研究 ,针对面向科学数据管理的数据库应用的特点 ,采用SetQueryBenchmark对支持平台的性能作了测试。最后基于此测试案例研究 ,提出了一个对SetQueryBenchmark改进的基于用户需求的基准测试方法———用户可定制的基准测试方法 (User definedBenchmark) ,对面向科学数据管理的数据库应用可以提供较好的性能度量。
- 宋磊陈虹夏芳张侠
- 科学计算双路并行I/O优化方法被引量:2
- 2015年
- 科学计算数据集由数据和元数据组成.一般条件下,数据的尺寸较大,元数据尺寸较小.传统的高性能计算机并行文件系统可以高效率地读写大块连续数据,但是无法高效率地读写大量较小块的元数据.一旦大块数据和小块元数据两类读写特征混杂在一起,元数据将较严重地干扰并行I/O,造成性能的下降.为此,文中提出数据与元数据分治的双路并行I/O方法.该方法在高层I/O库中建立内存文件系统与并行文件系统两级存储,在存储资源之间并行迁移科学计算元数据.一方面降低较频繁读写元数据的I/O延迟,另一方面改变科学计算数据的存储特征与存储模式,从而提高科学计算应用、尤其是数据分析与可视化等读入密集型应用的I/O效率.测试表明,双路并行I/O方法可提高写性能8%~13%,提高读性能89%到1.01倍.
- 曹立强莫则尧沈卫超夏芳陈军
- 关键词:并行I/O数据格式
- JADLib-科学计算数据高层I/O软件库被引量:7
- 2009年
- JADLib是为满足大规模复杂结构数据的存储与共享需求而研制的科学数据I/O软件库。其目标是设计并实现管理科学计算网格数据的数据存储模型,支持多种复杂结构数据的表示与操作,应用程序接口直观、易掌握,文件格式统一、可直接可视化,提供并行I/O、数居子集访问、压缩存储等高性能存储机制,支持多类科学计算程序跨平台使用,目前已应用到惯性约束聚变、高功率微波、计算流体力学、材料科学等多个研究领域中。实际应用表明,JADLib对于解决数值模拟软件数据存储及后处理分析所面临的I/O效率与组织管理问题具有很好的应用效果。
- 夏芳陈虹宋磊沈卫超
- 关键词:数据管理数据存储数据共享
- 面向数值模拟的元数据在线提取
- 在大规模科学计算应用中,计算程序往往产生大量结构复杂、缺乏说明信息的数值模拟数据,这对于科学家组织和管理的组织与管理这些数据已经成为一个重要瓶颈问题。本文以典型数值模拟程序及其结果数据为应用背景,给出了面向数值模拟元数据...
- 陈虹夏芳郑纬民
- 关键词:元数据数值模拟数据管理
- 文献传递
- 初始扰动尺度对汇聚激波驱动下分层流体混合过程的影响
- 本文利用7阶WENO方法结合3阶具有TVD性质的RungeKutta方法,对汇聚激波驱动下的气体混合过程进行了一系列数值模拟,研究了初始扰动尺度对混合过程的影响。数值模拟结果表明当初始扰动为包含小尺度的宽谱扰动时,混合区...
- 王丽丽杭义洪夏芳周海兵
- JADLib-科学计算数据高层I/O软件库
- JADLib是为满足大规模复杂结构数据的存储与共享需求而研制的科学数据I/O软件库。其目标是设计并实现管理科学计算网格数据的数据存储模型,支持多种复杂结构数据的表示与操作,应用程序接口直观、易掌握,文件格式统一、可直接可...
- 夏芳陈虹宋磊沈卫超
- 关键词:数据管理数值模拟
- 文献传递