国家自然科学基金(11205179)
- 作品数：6 被引量：40H指数：4
- 相关作者：陈刚程耀东黄秋兰石京燕汪璐更多>>
- 相关机构：中国科学院中国科学院大学法国科学院更多>>
- 发文基金：国家自然科学基金中国科学院知识创新工程更多>>
- 相关领域：自动化与计算机技术理学更多>>
- 基于桌面网格技术的高能物理计算系统被引量：2
- 2016年
- 针对传统的集群计算资源无法满足高能物理计算中对于海量数据处理的需求,基于桌面网格技术提出一种新型高能物理计算系统。该系统通过虚拟化技术,实现高能物理计算在桌面网格上的应用部署,并且设计镜像元数据服务进行远程镜像库管理。根据高能物理计算的特点,实现以DIRAC,BOINC,3G-bridge为基础的新型桌面高能物理计算系统。系统以BOINC计算服务为基本框架,3G-bridge处理作业请求,DIRAC提交计算作业。测试与分析结果表明,该系统能对高能物理作业提供稳定高效的计算服务,计算结果可靠,具有高可扩展性。
- 阚文枭王聪徐琪杜然Andrei Tsaregorodtsevt陈刚
- 关键词：桌面网格
- 科研大数据平台关键技术与实践被引量：5
- 2014年
- 首先,以高能物理领域数据处理为例,分析了支撑科学研究的大数据平台在存储和处理能力、传输和共享等方面的挑战,说明现有技术已经难以满足日益快速增长的数据处理需求。然后,给出了科研大数据平台的典型架构,并讨论科研大数据平台的关键技术,包括数据采集与清洗、数据存储、数据处理、数据传输、数据共享与安全等技术,同时介绍了各种关键技术的研究现状或者主流系统。最后,介绍了中国科学院高能物理研究所科研大数据开放平台的建设思路和实现框架,该平台试图解决目前大数据发展过程中面临的一些问题,如数据开放和跨领域融合不够、跨地域数据传输性能低等,从而激活数据价值,降低应用门槛。
- 程耀东陈刚
- 关键词：大数据数据存储并行数据处理
- 分布式存储系统的哈希算法研究被引量：17
- 2014年
- 针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈希算法的应用场景;结合分布式存储系统的应用,给出最优的哈希算法选择。实验结果证明,Davies-Meyer算法具有很好的均匀分布性和很高的计算效率,很适合分布式存储系统的应用。
- 黄秋兰程耀东陈刚
- 关键词：分布式存储系统哈希算法哈希冲突
- 高能物理计算环境概述被引量：12
- 2014年
- 本文介绍了高能物理的计算需求,探讨了典型的高能物理计算模型,详细介绍了常用的计算技术和系统,包括前端登录集群、海量存储系统、作业管理系统、虚拟计算系统、备份与分级存储、用户管理、软件自动部署、系统监视、网格系统等。对高能物理计算环境现状进行总结,并提出展望。
- 程耀东石京燕陈刚
- 关键词：高能物理海量存储网格
- 高能物理计算环境中存储系统的设计与优化被引量：5
- 2015年
- 高能物理是典型的数据密集型计算,数据访问性能对整个系统至关重要并与应用的计算模式密切相关。从剖析高能物理的典型计算模式入手,总结出其数据访问的特点,提出针对操作系统I/O调度、分布式文件系统缓存等多个因素的优化措施,优化后数据访问性能和CPU利用率明显提高。大规模存储系统对于元数据管理、数据可靠性、扩容等可管理性等功能也有较高要求,结合现有Lustre并行文件系统的不足,提出了Gluster的高能物理存储系统设计,在进行数据管理以及扩容等方面的优化后,系统已经正式投入使用,数据访问性能能够满足高能物理计算的需求,同时具有更好的可扩展性和可靠性。
- 程耀东汪璐黄秋兰陈刚
- 关键词：海量存储LUSTRE
- 海量存储系统的数据分布策略研究被引量：2
- 2014年
- 针对海量存储系统中数据分布存在可扩展性以及灵活性的问题,提出一种高效的数据分布算法。该算法采用一致性哈希的存储思想,利用"二分"的映射方式映射物理存储节点,摒弃了Chord算法中每台节点对路由表维护的做法,实现O(1)时间内直接路由。该算法还采用了"微分逼近"的思想,实现数据的均匀分布性。实验结果证明,TTD算法具备数据分布无关性的特点,且当物理节点逼近2N(N>0)时,数据分布就会越均匀。反之,可以通过虚拟节点的引入,确保数据的均匀分布。算法改进了海量存储系统中数据分布的均匀程度,有效优化了系统的整体性能。
- 黄秋兰武杰程耀东陈刚
- 关键词：海量存储系统数据分布CHORD算法
