中国人民大学科学研究基金(11XNH120)
- 作品数：2 被引量：613H指数：1
- 相关作者：王珊周烜王会举覃雄派王占伟更多>>
- 相关机构：中国人民大学更多>>
- 发文基金：中央高校基本科研业务费专项资金中国人民大学科学研究基金国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 架构大数据:挑战、现状与展望被引量：612
- 2011年
- 大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点.为了设计适合大数据分析的数据仓库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳,指出了各自的优势及不足,同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍,对未来研究做了展望.
- 王珊王会举覃雄派周烜
- 关键词：大数据MAPREDUCE并行数据库
- 内存数据库可控的page-color优化技术研究被引量：1
- 2011年
- page-color的研究集中在如何通过有效的cache分区技术隔离弱局部性数据与强局部性数据的访问冲突,减少数据处理过程中由弱局部性数据产生的cache污染对强局部性数据的影响.但这些优化技术依赖于特殊的处理器硬件设计、操作系统内核功能的扩展或同时依赖于硬件的特殊设计和操作系统扩展功能的支持.提出了应用软件层上基于page-color的W-order扫描优化技术,不依赖特殊的处理器硬件设计,最小化依赖操作系统的扩展功能.研究的核心思想是通过page-color控制弱局部性数据的页面地址访问顺序,将弱局部性数据与强局部性数据在cache中的冲突域由整个地址空间缩小为指定page-color的地址空间内,从而降低整体的cachemiss,降低数据处理时的延迟.与典型的page-coloring技术相比,不需要扩展操作系统内核功能,具有更好的内存地址空间利用率,能够实现查询内数据集粒度上的cache分区优化.实验中模拟了内存数据库中典型的多表连接算法,通过模拟cache行为模式和在实际查询处理时使用cache监测工具验证了W-order区优化技术的可行性与cache性能.实验结果表明,通过在应用软件层次上对顺序访问操作的控制,能够有效地降低cachemiss,提高内存数据库查询处理性能.
- 张延松王占伟孙妍王珊
- 关键词：内存数据库
