您的位置: 专家智库 > >

国家自然科学基金(90912004)

作品数:9 被引量:22H指数:3
相关作者:孙功星臧冬松陈刚程耀东霍菁更多>>
相关机构:中国科学院中国科学院研究生院中国科学院大学更多>>
发文基金:国家自然科学基金国家高技术研究发展计划中国科学院知识创新工程重要方向项目更多>>
相关领域:自动化与计算机技术更多>>

文献类型

  • 9篇中文期刊文章

领域

  • 9篇自动化与计算...

主题

  • 3篇分布式
  • 3篇高能
  • 3篇高能物理
  • 2篇元数据
  • 2篇数据流
  • 2篇海量
  • 2篇海量存储
  • 1篇队列
  • 1篇性能研究
  • 1篇应用性能
  • 1篇元数据服务
  • 1篇元数据服务器
  • 1篇元数据管理
  • 1篇站点
  • 1篇中间件
  • 1篇数据分析系统
  • 1篇数据服务
  • 1篇数据服务器
  • 1篇数据管理
  • 1篇数据库

机构

  • 8篇中国科学院
  • 3篇中国科学院研...
  • 2篇中国科学院大...
  • 1篇安阳工学院

作者

  • 4篇孙功星
  • 3篇程耀东
  • 3篇陈刚
  • 3篇臧冬松
  • 2篇霍菁
  • 2篇徐永士
  • 1篇汪璐
  • 1篇王文帅
  • 1篇梁栋
  • 1篇芦艳芳

传媒

  • 3篇计算机工程
  • 3篇计算机工程与...
  • 1篇核电子学与探...
  • 1篇计算机测量与...
  • 1篇科研信息化技...

年份

  • 1篇2014
  • 1篇2013
  • 4篇2012
  • 3篇2011
9 条 记 录,以下是 1-9
排序方式:
海量分级存储系统中磁带访问性能优化被引量:1
2011年
磁带是顺序访问设备,其访问性能因受到多方面因素的影响而变化很大,因此进行针对性的优化非常必要;采用基于磁盘-磁带的分级存储管理是海量存储系统中最常用的技术手段之一,首先对当前磁带访问的现状和影响因素进行分析,然后对性能优化方法进行探讨,包括驱动器调度、迁移策略、文件大小、磁带文件顺序等;实验结果表明,海量分级存储系统将网络存储架构与磁带存储结合起来,具有良好性价比,在高能物理、数字媒体等领域得到广泛应用。
芦艳芳程耀东
关键词:海量存储高能物理
BESⅢ离线软件的性能研究被引量:1
2011年
BESⅢ离线软件系统的性能监测和分析,对优化BESⅢ离线软件,提高CPU和内存利用率具有重要的意义。基于Gaudi框架提出并实现了一套切实可行的性能监测服务,并利用该服务对BESⅢ的模拟和重建过程进行了性能检测和分析。
张晓梅孙功星
关键词:CPU
海量存储系统元数据服务器的设计及性能优化被引量:4
2012年
设计适用于GRASS海量存储系统的元数据服务器,分析并优化3个影响元数据性能的因素:元数据组织方式,通信性能和搜索效率,利用Bloom Filter算法进行名字空间搜索,在此基础上实现目标系统的文件名查询优化。实验结果证明,目标系统的元数据处理性能得到明显提升,基本满足大规模高能物理计算的需求。
汪璐程耀东陈刚
关键词:海量存储系统元数据服务BLOOM
一种数据本地化存储与处理系统被引量:1
2012年
简述了当前大型数据中心普遍采用的计算节点集群与存储系统模块化设计的系统结构,说明了部署在各模块上的主要集群系统。分析了具有独立性的结构化数据本地化存储于计算节点的可能性,给出了系统基本框架,从总体拥有成本(TCO)的角度分析了其价值。结合高能物理研究的原始数据特点,认为数据本地化存储在节点上,有利于提高整体利用率,指出了关键部件——文件元数据管理系统的设计要点,分析了PBS作业批处理系统集成文件元数据管理系统的三种方案,给出第一种方案的详细设计,相应的用户提交作业方式的改变。在测试环境下,初步部署了文件元数据管理系统,测试了三种集成方案,给出了简要的分析比较。
徐永士霍菁孙功星
基于半监督近邻传播的数据流聚类算法被引量:1
2013年
为了提高进化数据流的聚类质量,提出基于半监督近邻传播的数据流聚类算法(SAPStream),该算法借鉴半监督聚类的思想对初始数据流构造相似度矩阵进行近邻传播聚类,建立在线聚类模型,随着数据流的进化,应用衰减窗口技术对聚类模型适时做出调整,对产生的类代表点和新到来的数据点再次聚类得到数据流的聚类结果。对数据流进行动态聚类的实验结果表明该算法是高质有效的。
王文帅陈刚
关键词:数据流近邻传播聚类
基于MapReduce的高能物理数据分析系统被引量:9
2014年
将MapReduce思想引入到高能物理数据分析中,提出一个基于Hadoop框架的高能物理数据分析系统。通过建立事例的TAG信息数据库,将需要进一步分析的事例数减少2-3个数量级,从而减轻I/O压力,提高分析作业的效率。利用基于TAG信息的事例预筛选模型以及事例分析的MapReduce模型,设计适用于ROOT框架的数据拆分、事例读取、结果合并等MapReduce类库。在北京正负电子对撞机实验上进行系统实现后,将其应用于一个8节点实验集群上进行测试,结果表明,该系统可使4×10-6个事例的分析时间缩短23%,当增加节点个数时,每秒钟能够并发分析的事例数与集群的节点数基本呈正比,说明事例分析集群具有良好的扩展性。
臧冬松霍菁梁栋孙功星
关键词:高能物理MAPREDUCE模型集群分布式计算
分布式文件元数据管理系统设计被引量:2
2012年
简述了分布式文件元数据管理系统的应用环境和设计目标。目标系统设定应用于高能物理数据分析,关联Torque作业批处理系统;在这些条件的限制下,详细分析了各种限制因素,并以此为基础给出了目标系统的总体结构及模块化设计。详细阐述了目标系统的数据库设计、访问接口设计以及数据同步要点,给出了设计思路,并结合目标系统的记录新增操作、查询操作的测试性能,讨论了进一步的工作。
徐永士臧冬松孙功星
关键词:分布式TORQUE
一种大规模分布式应用性能分析系统被引量:3
2012年
在网格和云计算环境下,由于平台和网络环境的复杂性,使得对大规模分布式应用的有效监控和性能分析变得非常困难。为此,提出一种基于数据流管理的大规模分布式应用性能分析系统,利用消息队列收集、缓冲和分发追踪消息,使用分布式实时处理框架分析和追踪消息。将该系统部署到一个Petabyte级别的分布式数据管理系统中,通过事例演示追踪消息的重要性。应用结果表明,该系统能够满足大规模分布式应用环境下大数据量处理能力和实时性的要求,为监控并分析系统性能、预测用户行为等提供了较好的平台支持。
臧冬松Vincent Garonne孙功星
关键词:分布式应用数据流管理消息队列NOSQL数据库
数据密集型网格平台示范站点与应用被引量:1
2011年
高能物理一直是计算机技术发展与应用的先驱者。随着大型强子对撞机LHC和北京正负电子对撞机BEPCII等新一代高能物理实验开始运行,网格计算已经成为高能物理研究的重要工具。世界各地的大批科研单位参与了国际高能物理网格系统的建设。高能物理网格不仅成功地为国际高能物理提供分布式高性能计算服务,同时还成为大量非高能物理领域采用的科学计算平台。在中国科学院、国家自然科学基金委及科技部的支持下,高能物理研究所建立了一个数据密集型网格平台站点并加入了国际高能物理网格。数据密集型网格站点目前由1600个CPU内核的集群和600TB的磁盘存储组成,与欧洲和北美的高速网络带宽分别达到1Gbps和622Mbps,每年提供数百万CPU小时的计算服务,支持的应用包括高能物理、天体物理与宇宙线物理、生物信息以及地球动力学等等。高能物理研究所还帮助国内的若干大学和研究所建立了网格站点,形成国内跨地域的网格平台。
陈刚程耀东
关键词:网格数据密集型计算高能物理中间件
共1页<1>
聚类工具0