杜然
- 作品数：13 被引量：49H指数：4
- 供职机构：中国科学院高能物理研究所更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划国家留学基金更多>>
- 相关领域：自动化与计算机技术理学更多>>
- 一种面向大规模微博数据的话题挖掘方法被引量：4
- 2014年
- 随着微博的日趋流行,新浪微博已成为公众获取和传播信息的重要平台之一,针对微博数据的话题挖掘也成为当前的研究热点。提出一个面向大规模微博数据的话题挖掘方法。首先对大规模微博数据进行分析,基于Bloom Filter算法对数据进行去重处理,针对微博的特有结构,对文本进行预处理,提出改进的LDA主题模型Social Network LDA(SNLDA),采用吉布斯采样法进行模型推导,挖掘出微博话题。实验结果表明,方法能有效地从大规模微博数据中挖掘出话题信息。
- 王文帅杜然程耀东陈刚
- 关键词：BLOOMFILTER
- 应用于JUNO实验的容器技术研究
- 2019年
- 江门中微子实验(JUNO)是以测定中微子质量顺序、精确测量中微子混合参数为主要目的的一项物理科学前沿研究实验,其实验规模庞大,数据处理流程繁杂,需借助统一高效的离线计算平台对数据进行分析处理。为此,利用Docker容器分层的镜像技术将JUNO实验所需的环境依赖库打包在镜像文件中,为其制定针对不同操作系统作业的容器镜像,并将不同JUNO容器作业提交至作业调度器上运行,以实现资源共享。对物理机、容器、虚拟机3种平台的CPU性能、I/O性能及JUNO作业的实际运行效果进行对比测试,结果表明,Docker容器能够胜任JUNO离线数据处理,相比虚拟机具有更小的性能损耗。
- 谭宏楠石京燕邹佳恒杜然姜晓巍孙震宇
- 关键词：虚拟机镜像虚拟化技术
- 基于桌面网格技术的高能物理计算系统被引量：2
- 2016年
- 针对传统的集群计算资源无法满足高能物理计算中对于海量数据处理的需求,基于桌面网格技术提出一种新型高能物理计算系统。该系统通过虚拟化技术,实现高能物理计算在桌面网格上的应用部署,并且设计镜像元数据服务进行远程镜像库管理。根据高能物理计算的特点,实现以DIRAC,BOINC,3G-bridge为基础的新型桌面高能物理计算系统。系统以BOINC计算服务为基本框架,3G-bridge处理作业请求,DIRAC提交计算作业。测试与分析结果表明,该系统能对高能物理作业提供稳定高效的计算服务,计算结果可靠,具有高可扩展性。
- 阚文枭王聪徐琪杜然Andrei Tsaregorodtsevt陈刚
- 关键词：桌面网格
- 可扩展的分布式元数据管理系统设计被引量：6
- 2015年
- 为解决高能物理海量存储系统由于存储规模不断扩大所面临的问题,设计一种分布式元数据管理系统,包括元数据管理、元数据服务、缓存服务以及监控信息采集4个部分,在此基础上提出自适应目录子树划分算法,以目录为粒度进行元数据划分,根据集群负载情况调整目录子树,实现元数据信息在元数据集群中的合理存储和分布。实验结果证明,该算法能提高元数据的访问和检索性能,提供可扩展及动态负载均衡的元数据服务,以保证该元数据管理系统的可用性、扩展性及I/O性能不会因存储规模扩大而受到影响,满足高能物理实验日益增长的存储需求。
- 黄秋兰程耀东杜然陈刚
- 关键词：元数据管理可扩展LUSTRE文件系统
- 基于众包的社交网络数据采集模型设计与实现被引量：14
- 2015年
- 社交网络数据信息量大、主题性强,具有巨大的数据挖掘价值,是互联网大数据的重要组成部分。针对传统搜索引擎无法利用关键字检索技术直接索引社交网络平台信息的现状,基于众包模式,采用C/S架构,设计社交网络数据采集模型,包含服务端、客户端、存储系统与主题Deep Web爬虫系统4个模块。通过主题Deep Web爬虫的分布式机器节点自动向服务器请求爬虫任务并上传爬取数据,利用Hadoop分布式文件系统对爬取数据进行快速处理并存储结果数据。实验结果表明,主题Deep Web爬虫系统配置简单,支持功能扩展和目标信息直接获取,数据采集模型具有较快的数据获取速度及较高的信息检索效率。
- 高梦超胡庆宝程耀东周旭李海波杜然
- 关键词：社交网络分布式计算WEB爬虫HADOOP分布式文件系统
- 多核平台上的BESⅢ离线数据并行处理
- 2015年
- 基于已完成重大升级改造的北京正负电子对撞机(BEPCII)和北京谱仪(BESIII)的数据分析工作正在全面展开。作为数据分析的基础和关键的BESIII离线物理软件,它的性能决定着数据分析的进度和结果。针对BESIII实验物理数据的并行计算处理,在多核CPU硬件结构基础上,采用多进程编程技术进而实现文件级别的多进程BESIII离线数据并行处理。性能测试表明多进程并行处理可以减少资源消耗而且能够有效地提高数据分析的运算速度,从而为BESIII实验早出快出高质量的物理成果奠定坚实的基础。
- 王聪程耀东阚文枭杜然徐琪陈刚
- 关键词：多进程节点调度
- 基于块的分级存储系统多样性机制设计与研究被引量：3
- 2016年
- HazelNut是一种基于块的分级存储系统,为满足HazelNut多种存储设备和追踪迁移方式的管理需求,设计并实现多样性设备管理机制HNDisk和多样性追踪迁移机制HNType。HNDisk将物理存储设备分层管理,不限制设备种类和设备数量。HNType可按照公共接口添加类型模块,便于配置并选择不同追踪度量和迁移算法。在HNDisk和HNType的基础上,测试不同追踪度量对btier平均值迁移算法性能的影响,结果表明,追踪度量访问次数和访问字节数非线性相关,两者对迁移效果的影响不同,并且使用读写请求完成时间作为追踪度量至少可使顺序读写性能提升10%。
- 杜然黄秋兰程耀东陈刚
- 关键词：多样性LINUX内核可装载内核模块
- 国家高能物理科学数据中心分布式数据处理平台被引量：4
- 2022年
- 【目的】本文对国家高能物理科学数据中心分布式数据平台进行系统全面介绍,为高能物理及相关领域大科学实验的数据处理提供参考。【方法】文章介绍了国家高能物理科学数据中心分布式数据处理平台的总体构成、运行模式和智能运维等方面的关键技术。通过分析高能物理实验数据处理的计算特点与实际需求,介绍了数据中心“一平台多中心”的数据处理平台建设思想,阐述了平台为高能物理实验提供的跨地域资源共享、高性能海量数据访问以及用户实时交互服务等技术方案设计与实现。【结果】文章列举了数据中心分布式数据处理平台对两个高能物理实验的支持实例,助力科学研究成果获取。【结论】国家高能物理科学数据中心分布式数据处理平台已经成为高能物理学科的重要基础设施和组成,是学科融合、开展新研究方法的主要场所,满足了粒子物理、理论物理、空间天文、射线学科、加速器设计等科研领域的数据处理需求。
- 石京燕黄秋兰汪璐李海波杜然姜晓巍胡庆宝郑伟闫晓飞张玄同
- 基于BOINC的CAS@home志愿计算工程
- 志愿计算是一种分布式计算，其基本思想就是让大众贡献计算资源以解决科学研究中所遭遇的计算需求难题。由于中国拥有着庞大基数的联网计算机，所以发展志愿计算的潜力是不可限量的，但在CAS@home 之前，没有一个志愿计算工程是由...
- 武杰伍文静杜然陈刚
- 关键词：系统架构程序设计蛋白质结构预测计算机网络
- 大型高能物理计算集群资源管理方法的评测被引量：6
- 2017年
- 高能物理数据由物理事例组成,事例之间没有相关性。可以通过大量作业同时处理大量不同的数据文件,从而实现高能物理计算任务的并行化,因此高能物理计算是典型的高吞吐量计算场景。高能所计算集群使用开源的TORQUE/Maui进行资源管理及作业调度,并通过将集群资源划分成不同队列以及限制用户最大运行作业数来保证公平性,然而这也导致了集群整体资源利用率非常低下。SLURM和HTCondor都是近年来流行的开源资源管理系统,前者拥有丰富的作业调度策略,后者非常适合高吞吐量计算,二者都能够替代老旧、缺乏维护的TORQUE/Maui,都是管理计算集群资源的可行方案。在SLURM和HTCondor测试集群上模拟大亚湾实验用户的作业提交行为,对SLURM和HTCondor的资源分配行为和效率进行了测试,并与相同作业在高能物理研究所TORQUE/Maui集群上的实际调度结果进行了对比,分析了SLURM及HTCondor的优势和不足,探讨了使用SLURM或HTCondor管理高能物理研究所计算集群的可行性。
- 孙震宇石京燕姜晓巍邹佳恒杜然
- 关键词：资源管理系统计算集群
