中国人民大学科学研究基金(13XNH216)
- 作品数：2 被引量：15H指数：2
- 相关作者：周烜张延松王珊牛嘉周明更多>>
- 相关机构：中国人民大学教育部更多>>
- 发文基金：中国人民大学科学研究基金国家自然科学基金中央高校基本科研业务费专项资金更多>>
- 相关领域：自动化与计算机技术更多>>
- 多核处理器下事务型数据库性能优化技术综述被引量：11
- 2015年
- 传统数据库的设计假设磁盘为主要存储设备,其性能取决于基于I/O代价模型的优化.然而,当前数据库运行的平台已逐渐转移到由多核处理器、大内存和以闪存为代表的低延迟存储所构成的新型硬件平台上.在大多数情况下,工作数据集能够全部加载到内存或者闪存等高速存储器中.这样,数据库的性能瓶颈由传统的I/O转移到CPU上.而传统数据库的加锁操作、闩锁竞争、日志管理以及缓冲区管理在设计时均未考虑到多核处理器的使用,因而成为了限制CPU利用率的明显瓶颈.改变传统数据库的优化重点以适应硬件的发展对应用而言是十分必要的.该文针对当前新的应用背景,主要围绕数据库系统中锁管理、日志管理、缓冲区管理以及B树索引等核心模块在多核平台下已有的优化技术进行详细介绍和归纳总结.同时介绍了中国人民大学在数据库系统的多核处理器优化方面所做的一些工作.
- 朱阅岸周烜张延松周明牛嘉王珊
- 关键词：日志缓冲区管理B树
- 一个基于三元组存储的列式OLAP查询执行引擎被引量：4
- 2014年
- 大数据与传统的数据仓库技术相结合产生了大数据实时分析处理需要(volume+velocity),它要求大数据背景下的数据仓库不能过多地依赖物化、索引等高存储代价的优化技术,而要提高实时处理能力来应对大数据分析中数据量大、查询分析复杂等特点.这些查询分析操作一般表现为在事实表和维表之间连接操作的基础上对结果集上进行分组聚集等操作.因此,表连接和分组聚集操作是ROLAP(relational OLAP)性能的两个重要决定因素.研究了新硬件平台下针对大规模数据的OLAP查询的性能,设计新的列存储OLAP查询执行引擎CDDTA-MMDB(columnar direct dimensional tuple access-main memory databasequeryexecutionengine,直接维表元组访问的内存数据库查询执行引擎).基于三元组的物化策略,使得CDDTA-MMDB能够减少内存列存储模型上表连接操作访问基表和中间数据结构的次数.首先,CDDTA-MMDB将查询分解为作用在维表和事实表上的子查询,如果只涉及过滤操作,子查询将生成<代理键,布尔值>二元组;否则,子查询生成<代理键,关键字,值>三元组.然后,只需一趟扫描事实表,利用事实表的外键映射函数直接定位相应三元组或者二元组,完成相应的过滤、连接或聚集操作.CDDTA-MMDB充分考虑了内存列存储数据库的设计原则,尽量减少随机内存访问.实验结果表明:CDDTA-MMDB是高效的,与具代表性的列存储数据库相比,比MonetDB 5.5快2.5倍,比C-store的invisible join快5倍;并且,CDDTA-MMDB在多核处理器上具有线性加速比.
- 朱阅岸张延松周烜王珊
- 关键词：联机分析处理
