曹荣强
- 作品数:45 被引量:116H指数:6
- 供职机构:中国科学院计算机网络信息中心更多>>
- 发文基金:国家高技术研究发展计划国家自然科学基金北京市自然科学基金更多>>
- 相关领域:自动化与计算机技术经济管理天文地球文化科学更多>>
- 基于集成学习的计算集群作业时长预测与调度方法
- 2023年
- 【目的】本文的研究是为了提升作业时长预测的准确度,改善作业回填调度的性能,进而提高计算集群的计算资源利用率。【应用背景】作业调度在提升计算集群计算资源利用率方面发挥着重要作用,而作业时长预测是作业回填调度策略的关键判断依据。【方法】本论文基于集成学习方法对计算集群作业时长进行预测,集成了支持向量回归、随机森林、梯度提升回归树和自动机器学习等算法,并且采用本论文预测的作业时长进行了作业回填调度实验。【结果】采用本方法分别在HPC2N、CEA Curie和KIT FH2三个典型数据集上进行了测试,作业时长预测值的均方根误差比用户预估方法分别降低60.30%、51.91%、63.51%,比线性回归方法分别降低44.37%、31.98%、52.69%。【结论】作业回填调度模拟实验结果表明,本方法能够大幅提升作业时长预测的准确度,作业平均等待时间比用户预估方法分别降低9.07%、8.80%、1.83%,并且能够改善作业回填调度的性能,平均有界减速值比用户预估方法分别降低7.72%、0.96%、9.05%,提高了计算集群的计算资源利用率。
- 李贺修涵文刘彦君曹荣强周纯葆周纯葆
- 关键词:计算集群
- 基于云平台的计算化学科学计算云服务社区
- 计算化学云服务社区采用软件即服务的模式,使用浏览器/服务器结构来提供专业交互式的计算化学科学计算服务,以“降低使用门槛、提高使用效率,助跑计算化学用户的科学研究工作”为目标,研究社区中各种软硬件资源的分类方式,方便用户快...
- 刘倩金钟曹荣强
- 关键词:计算化学软件开发功能模块
- 文献传递
- 一种高性能计算环境中使用应用封装的方法及其系统
- 本发明涉及一种在高性能计算环境中使用应用封装的方法及其装置,该方法包括:生成一个应用封装可执行文件;获取一个或多个高性能计算机的应用封装的基本信息;根据用户的作业描述请求,获取作业描述信息;在所述应用封装基本信息中匹配所...
- 王小宁肖海力曹荣强卢莎莎武虹
- 文献传递
- 面向集群服务器系统的监控平台综述被引量:4
- 2018年
- 为保证云计算、高性能计算集群服务器系统的服务能力,需构建监控平台对各种来源数据的实现统一管理、统计分析和展现。本文面向集群服务器系统监控平台的搭建方式,综述当前各种常见的监控平台架构和组件,分析各类平台在部署、数据规模、统计分析能力以及时效性等方面的不同。分析结果表明,集群服务器系统监控平台搭建方案应根据监控数据规模、时效性要求、查询和统计需求选择方案。
- 胡鹤赵毅牛铁曹荣强
- 关键词:索引大数据报警ELKMAP-REDUCESPARK
- 基于REST风格的科学计算环境信息Web服务
- 科学计算环境提供了海量的计算资源和不同学科的大量应用,如何获取准确的信息并展示给用户和管理人员,是提高科学计算环境效率和易用特性必须解决的问题。本文在中国科学院科学环境中间件的基础上,研究和实现了基于REST风格的Web...
- Cao Rongqiang曹荣强Xiao Haili肖海力Lu Shasha卢莎莎
- 关键词:WEB信息服务REST风格功能模块
- 一种无损数据压缩框架
- 本发明涉及无损数据压缩框架,所述无损数据压缩框架具体包括:输入模块,将待压缩字节流以输入长度为S输入;语义增强模块,对长度为S的字节流进行嵌入处理,得到矩阵X<Sub>e</Sub>;将X<Sub>e</Sub>分割为N...
- 王子鉴万萌王珏李杨灏王彦棡王晓光曹荣强修涵文
- 一种基于深度学习的前瞻因子筛选方法
- 本发明涉及一种基于深度学习的前瞻因子筛选方法,包括:通过分词,词频统计和词性分析得到因子数据库中的各个因子关键字,并建立因子黑名单;在行业数据库中查询得到行业的时间序列数据;在图表数据库中查询得到该行业的研报图表;通过字...
- 周纯葆张博尧王彦棡曹荣强王珏
- 文献传递
- 基于RMI的高性能计算网格二次开发模型被引量:6
- 2010年
- 根据高性能计算和网格的特点,提出一种网格二次开发模型(GRM)。结合RMI和SSL/TLS技术,该模型提供了访问中间件的一致性接口,屏蔽了通过网络访问网格的繁杂问题,解决了敏感数据在不安全的广域网中传输的问题。以科学计算网格的中间件为基础,实现了GRM。多个基于GRM的用户接口开发经历和实验结果表明,GRM为开发人员提供了一个简单易用和功能全面的开发模型,而且具有良好的性能和可移植性。
- 曹荣强曹宗雁迟学斌肖海力
- 关键词:网格用户接口JAVARMI数据安全
- 基于任务负载监测的高性能集群节点启停机制被引量:1
- 2011年
- 对高性能计算集群在运行过程中如何通过关闭闲置节点来实现有效节能的问题进行了研究和探讨,设计和实现了基于任务负载量统计监测的节点启停机制。根据对系统中作业运行和排队情况的记录和分析,通过参数估计设计了反映队列任务情况的负载因子,并围绕负载因子制定具体策略,结合作业系统的队列设置和资源分配规则,对集群中的空闲节点进行自动启停控制。模拟实验表明,基于任务负载监测的节点启停机制能够有效地自动启停系统中闲置的节点,从而降低系统功耗,并且对系统中作业的整体完成时间基本不造成影响。
- 曹宗雁曹荣强戴志辉朱鹏迟学斌
- 关键词:高性能计算机集群参数估计
- 基于REST风格的科学计算环境Web服务API被引量:4
- 2016年
- 基于Web页面的计算门户提供了简单易用的用户使用界面,这些门户需要访问异构的计算机群。本文研究和实现基于REST风格的科学计算环境Web服务API(SCEAPI-REST),其核心思想是充分利用Web服务在复杂系统中的集成优势以及REST风格的API跨平台和跨编程语言的特性,为开发者提供简单易用的计算机群开发接口,包括用户管理、资源查询、作业管理和文件传输等功能。基于SCEAPI-REST,开发人员不再需要解决机群访问的繁杂问题,只需要专心构建面向科学计算的终端软件。该API已经应用到计算化学、材料科学、生物信息等多个领域的专业社区和工具软件。
- 曹荣强肖海力王小宁卢莎莎
- 关键词:RESTAPIWEB服务