董新华 作品数:7 被引量:127 H指数:4 供职机构: 华中科技大学计算机科学与技术学院 更多>> 发文基金: 国家自然科学基金 国家高技术研究发展计划 国家自然科学基金预研项目 更多>> 相关领域: 自动化与计算机技术 更多>>
Hadoop系统性能优化与功能增强综述 被引量:69 2013年 Hadoop已成为大数据关键部件,并获得了越来越多的支持.由于认识到Hadoop的巨大潜力,更多的用户在使用现有Hadoop平台技术的同时,着手研发和优化现有技术,以对Hadoop进行补充.在给出Hadoop系统基本框架的基础上,阐述了MapReduce并行计算框架优化、作业调度优化、HDFS性能优化、HBase性能优化和Hadoop功能增强等研究现状,分析已有技术的优势和不足,并探讨了未来的研究方向. 董新华 李瑞轩 周湾湾 王聪 薛正元 廖东杰关键词:大数据 HADOOP MAPREDUCE 作业调度 HDFS YARN平台上的并行主题标引算法 被引量:2 2014年 文档主题标引是当前个性化智能检索的重要前提,但面对大规模海量数据资源时,主题标引也成为性能瓶颈。当前在Map Reduce框架上设计实现的主题标引算法,通常存在启动任务耗时长,中间数据过多地进行磁盘IO等缺陷。为了解决此类问题,采用YARN(yet another resource negotiator)作为底层分布式资源管理平台,选择更加合适的计算框架来改善计算性能。针对文档主题标引算法计算步骤多、阶段性强的特点,选择有向无环图(directed acyclic graph,DAG)计算模型进行算法实现,避免不必要的作业拆分,从而减少中间结果的磁盘IO。另外,考虑到Map Reduce的排序策略耗时较多,而有些计算无需对结果排序,故可以改用基于Hash的数据归约策略来提高计算性能,但这又会带来随机读的问题。利用固态硬盘高速随机读的特性,设计相应的优化计算策略来解决随机读的问题。通过实验对比发现,以YARN为底层管理平台,在此基础上选择合适的计算框架并加以优化,可以有效改善分布式计算的性能。 李瑞轩 廖东杰 辜希武 文坤梅 赵铄乂 董新华关键词:主题标引 固态硬盘 基于SDS架构的多级DDoS防护机制 被引量:9 2016年 随着互联网的高速发展,网络安全的问题越来越严峻。软件定义网络(SDN)的出现为解决网络安全问题提供了全新的解决方案,如软件定义安全(SDS)。在SDS架构的基础上,针对分布式拒绝服务(DDoS)攻击的特点,提出一种新的DDoS防护机制SDS for DDoS。这种防护机制结合了以往检测方式和防护方式的优点,将安全服务原子化,并实现安全策略盒的多级防护策略。在受到DDoS攻击时,机制可以根据检测到的攻击力度进行动态决策,还能先验式地对攻击流量进行阻隔,不仅增加了决策的可信度,还解决了以往所采用的静态防护和后验式防护的不足。实验验证了机制的可行性,能有效地避免服务器受到DDoS攻击,更突出了它在决策时的灵活性和在遭受攻击时的先验性。 何亨 黄伟 李涛 李涛 曾朋关键词:分布式拒绝服务 一种大数据平台敏感数据安全共享的框架 大数据平台存储了海量的用户敏感数据,这些敏感数据的共享有助于企业降低为用户提供个性化服务的成本,实现数据增值,而数据的安全共享是一个亟待解决的问题。本文提出了一个大数据平台敏感数据安全共享系统框架,包括半可信大数据平台上... 董新华 李瑞轩 何亨 周湾湾 薛正元 王聪关键词:安全共享 敏感数据 大数据 Hadoop系统性能优化与功能增强综述 Hadoop已成为大数据关键部件,并获得了越来越多的支持.由于认识到Hadoop的巨大潜力,更多的用户在使用现有Hadoop平台技术的同时,着手研发和优化现有技术,以对Hadoop进行补充.在给出Hadoop系统基本框架... 董新华 李瑞轩 周湾湾 王聪 薛正元 廖东杰关键词:大数据 文献传递 一种大数据平台敏感数据安全共享的框架 被引量:8 2014年 大数据平台存储了海量的用户敏感数据,这些敏感数据的共享有助于企业降低为用户提供个性化服务的成本,实现数据增值,而数据的安全共享是一个亟待解决的问题。通过分析敏感数据安全现状,提出了一个大数据平台敏感数据安全共享系统框架,包括数据平台上敏感数据的安全提交、存储、使用和销毁;研究了基于密文异构转化的代理重加密算法和基于虚拟机监控器的用户进程保护方法等关键技术,为系统功能的实现提供了支撑。该框架能够保护用户敏感数据的安全性,有效实现这些数据的安全共享,同时使数据拥有者完全掌握自身数据的控制权,从而有利于营造现代互联网信息安全的良好环境。 董新华 李瑞轩 何亨 周湾湾 薛正元 王聪关键词:安全共享 敏感数据 大数据 移动云服务的数据安全与隐私保护综述 被引量:39 2013年 移动云服务相比传统云具有移动互联、灵活终端应用和便捷数据存取等特点。然而,丰富的移动云服务应用也带来了更多的安全与隐私泄露问题。在阐述移动云服务的基本概念、应用与安全问题的基础上,给出了其安全与隐私保护体系结构,主要围绕安全协议与认证、访问控制、完整性验证、移动可信计算和基于加密、匿名、混淆的隐私保护等关键技术,分析其研究现状,论述已有技术的优势和不足,并探讨了未来的研究方向。 李瑞轩 董新华 辜希武 周湾湾 王聪关键词:移动互联网 云计算 移动终端 数据安全 隐私保护