戴清灏
- 作品数：3 被引量：6H指数：1
- 供职机构：首都师范大学管理学院更多>>
- 发文基金：国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 云制造环境下并行频繁模式增长算法优化被引量：5
- 2012年
- 针对云制造环境下的海量数据挖掘,分析了现有并行频繁模式增长算法的实现和不足。研究了利用键值存储系统对其中的计数和分组部分进行优化。利用键值型数据库存储简单、自动增长且有序的方式,将计数和分组的信息存储在了键值型数据库上。通过减少对分布式文件系统的读写,并将计数过程和排序过程并行化执行,优化后的算法减小了存储节点的网络及内存开销。在真实数据集上,通过实验对比了优化前后算法的性能以及对于文件系统I/O的开销。
- 王洁戴清灏曾宇杨东日
- 关键词：云制造数据挖掘
- 基于分布式协调系统的并行频繁模式增长算法的优化
- 频繁模式挖掘可以发现数据中频繁出现的模式，是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到了并行环境中，以对海量数据进行挖掘。在Apache软件基金会的Mahout项目的实现基础上，对计数和排序阶段以及算法的执行顺序...
- 王洁戴清灏李环
- 关键词：频繁模式增长算法并行数据挖掘关联规则
- 基于分布式协调系统的并行频繁模式增长算法的优化被引量：1
- 2012年
- 频繁模式挖掘可以发现数据中频繁出现的模式,是关联规则挖掘的重要步骤。并行频繁模式算法将其应用到并行环境中,以对海量数据进行挖掘。在Apache软件基金会的Mahout项目实现的基础上,对计数和排序阶段以及算法的执行顺序提出了新的优化策略。优化后的设计将计数信息存储在分布式协调系统上,充分地利用了分布式协调系统的高可用性、适宜存储元数据信息的特点。该设计减小了小文件在分布式文件系统(HDFS)上的开销,同时保留了其优点,还能使计数过程和排序过程并行执行,减小了计算节点的内存开销。对比了文件系统I/O的开销,并分析了实现设计中的难点,为未来的工作打下了基础。
- 王洁戴清灏李环
- 关键词：频繁模式增长算法并行数据挖掘
