搜索到1627篇“ HBASE“的相关文章
- 铁路通信数据HBase分布式查询系统设计
- 2024年
- 目前设计的铁路通信数据分布式查询系统响应时间存在较大延迟,不具备实时性。为了解决上述问题,基于HBase设计了一种新的铁路通信数据分布式查询系统。配备三台主机,构建分布式查询模式,通过Linux组件和HDFS目录构建集群,同时建立数据存储模块和数据查询模块。利用HBase存储算法设定存储模型,得到逻辑片段集合,通过分析逻辑关系实现存储调度。实验结果表明,设计的基于HBase的铁路通信数据分布式查询系统数据写入性能响应延迟时间低于0.2 ms,缓冲性能写入延迟时间低于0.1 ms,能够很好地保证查询实时性。
- 马雁波
- 关键词：HBASE铁路通信通信数据数据分布查询系统
- 基于HBase的中文短文本快速检索方案研究
- 2024年
- 伴随着信息时代的飞速发展,生活中每个行业内需要处理的信息成倍递增。对于海量的数据在完全分布式的环境下计算和存储更为合适。但是在检索方面,对于中文短文本数据的检索任务时效率却略显不足。综上所述,文章设计了一种基于HBase的中文短文本快速检索方案。首先通过BTM训练出对应的主题概率分布。其次将传统的KNN文本分类结合潜在的中文语义分析,来实现短文本的潜在主题文本分类,并设计了基于MapReduce并行化KNN文本主题分类来解决海量数据计算量大的问题,最后将文本主题分类结果与ES上的Top Hits相结合,构建对应表的二级索引来避免对于原始文本数据复杂的全表扫描。从而实现快速检索。最后通过实验对比,这种方案比传统的HBase检索中文短数据的方案效率更高。
- 赵航尹铁源
- 关键词：HBASEKNN文本分类
- 基于HBase的极向场电源系统异构数据存储设计
- 2024年
- 极向场电源系统是全超导托卡马克核聚变实验(EAST)装置的重要组成部分。EAST装置的运行和电源系统的日常运行与维护不仅产生海量结构化时序数据,还生成文档、表格、音频和视频等非结构化数据文件。传统的关系型数据库和聚变领域MDSplus数据库不能满足异构数据的统一存储管理。搭建分布式集群,选取分布式数据库HBase,提出基于时间序列的行键设计来实现数据均衡分布和并行访问节点提高读取效率,提出基于降序最佳适应算法的文件合并策略设计来实现小文件的高效合并,充分利用数据块存储空间。实验结果表明,该种异构数据存储设计方案满足了存储需求。
- 许昌涛黄连生
- 关键词：分布式存储
- 一种HBase多条件过滤查询方法
- 本发明公开了一种HBase多条件过滤查询方法，包括以下步骤：S1、建立二级索引表；S2、对于要进行过滤查询的多个过滤属性，计算每个条件的得分，计算符合最终查询结果的对象需要的分数m<Sub>n</Sub>；S3、对于要过...
- 樊宽路王诏贤巢玲威薛瑞尼
- 基于Hbase的报表生成方法及装置
- 本发明公开了一种基于Hbase的报表生成方法及装置，该方法包括：接收外部输入的选择指令，其中，选择指令用于选择待生成报表的一个或多个维度项，以及每个维度项关联的一个或多个度量项；根据选择指令选择的各个维度项和各个度量项，...
- 毛恒
- 基于Hbase的数据导出方法及装置
- 本发明公开了一种基于Hbase的数据导出方法及装置，该方法包括：对Hbase表进行快照，生成Hbase表中各个Region的快照文件；根据各个Region的快照文件中记录的Hfile文件引用指针，扫描读取各个Region...
- 周朝卫
- 一种基于HBASE的实体合并与版本管理方法
- 本申请公开了一种基于HBASE的实体合并与版本管理方法，属于数据管理技术领域，包括：服务器接收来自采集终端的实体数据，并作为第一实体数据，其中采集终端为具有数据录入功能的设备；对第一实体数据进行预处理，并生成至少两个分类...
- 凌世播王福泽高瑞李清松章峰宋平
- 一种对HBase集群网络时间进行巡检的方法和系统
- 本发明提供一种对HBase集群网络时间进行巡检的方法、系统、设备和存储介质，方法包括：响应于接收到HBase集群时间检查命令，检查集群节点的网络时间协议服务的状态；响应于所述集群节点的网络时间协议服务的状态正常，采集节点...
- 陶钰昕和思扬王帅阳
- 一种配置HBase集群的方法及装置
- 本发明提供了一种配置HBase集群的方法及装置，该方法为：获取用户针对HBase集群的配置指令，HBase集群基于容器编排系统和指定应用编排工具搭建；当配置指令为用于调整HBase集群的HMaster节点的配置的调整指令...
- 王斌杨田镁
- 一种Hbase增量数据迁移系统、方法及存储介质
- 本发明公开了一种Hbase增量数据迁移系统、方法及存储介质，本发明利用了Hbase的Export工具完成源集群增量数据扫描，采用HDFS DispCp完成增量数据的跨集群传输，最后使用分布式计算引擎Spark将增量数据通...
- 段朋
相关作者
- 吴楠
- 作品数：75被引量：0H指数：0
- 供职机构：浪潮〈北京〉电子信息产业有限公司
- 研究主题：HBASE 集群 HADOOP集群 集群系统 调度方法
- 房俊
- 作品数：52被引量：249H指数：8
- 供职机构：北方工业大学
- 研究主题：HBASE 聚合查询 MAPREDUCE 海量 交通数据
- 辛国茂
- 作品数：29被引量：86H指数：3
- 供职机构：浪潮电子信息产业股份有限公司
- 研究主题：HBASE 交互分析 软件测试 HDFS 数据处理
- 赵仁明
- 作品数：22被引量：0H指数：0
- 供职机构：浪潮电子信息产业股份有限公司
- 研究主题：HBASE 数据中心 索引 OS 雪花模型
- 刘黎志
- 作品数：60被引量：148H指数：6
- 供职机构：武汉工程大学计算机科学与工程学院
- 研究主题：大数据 HBASE 环境空气质量监测 SPARK 数据仓库
