国家自然科学基金(61173022)
- 作品数:3 被引量:10H指数:1
- 相关作者:朱振华黄沈滨王海洁李亚平高宏更多>>
- 相关机构:哈尔滨工业大学更多>>
- 发文基金:国家自然科学基金更多>>
- 相关领域:自动化与计算机技术更多>>
- 分布式数据不一致性检测的实现与优化
- 2015年
- 数据的不一致性检测是数据清洗中一个重要的主题。传统集中式数据的不一致性检测问题可以使用基于SQL的技术得到解决,而对于分布式的数据,往往面临着诸多挑战。目前研究者提出了基于函数条件依赖的不一致性检测技术对该问题进行了深入研究,将分布式不一致性检测问题转化成最优化问题,并提出了若干可行的解决算法。本文介绍了分布式数据下的基于函数条件依赖的不一致性检测问题,并实现了基于最优化问题的分布式检测算法,最后组织相关实验进行验证和改进。
- 王海洁黄沈滨朱振华
- 关键词:分布式数据条件函数依赖
- 大数据云清洗系统的设计与实现被引量:1
- 2015年
- 数据清洗是大数据中一个重要的主题。本文基于Hadoop设计并实现了一个大数据的云清洗系统。通过Map-Reduce计算模型,该系统能够检测并修复数据质量方面的各类问题。该系统包含以下特征:(1)支持数据质量方面各类问题的清洗工作;(2)数据云清洗进度可视化以及参数设置;(3)友好的数据集输入接口以及清洗后的数据集输出接口。该大数据云清洗系统对文本数据和数据库数据均是一个有效且高效的数据清洗系统。
- 黄沈滨王海洁朱振华
- 关键词:大数据数据质量MAP-REDUCE
- 云计算系统中能量有效的数据摆放算法和节点调度策略被引量:9
- 2013年
- 云计算环境中数据中心能耗问题已经引起广泛关注,从绿色节能的角度考虑如何摆放云平台中的数据、如何调度云平台中的节点,成为非常重要的问题.现有的节点调度策略并不能在云计算平台环境中获得理想的节能效果.提出了一种启发式的动态数据摆放算法以及两种适用于云计算环境的节点调度优化策略.在保证任务请求满足预期执行效果的前提下,通过数据摆放算法和节点调度优化策略减少云平台消耗的能量.使用Cloudsim模拟了私有云环境,通过数据共享机制在资源池中进行数据块的动态摆放,开启最少的节点来覆盖最多的数据块,由此达到节能目的.将节点覆盖数据块的问题抽象为带权重的集合覆盖问题,使用贪心算法进行求解.通过实验测试了数据摆放方法和节点调度方法的节能效果,实验结果验证了数据摆放方法和节点调度方法的有效性.
- 肖艳文王金宝李亚平高宏
- 关键词:云计算