于金良
- 作品数：9 被引量：57H指数：5
- 供职机构：西安邮电大学更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于BIND9的校园网智能DNS实现被引量：5
- 2017年
- 为了解决不同的网络来源访问者能够高速访问校园网内部服务器的问题,文中基于BIND9视图,结合HAProxy负载均衡技术提出了智能DNS策略解析方案。智能DNS可以智能地判断用户的访问来源,然后把不同用户的IP地址分别解析为对应的服务器IP地址。经测试表明,教育网、网通以及电信用户在分别访问校园网时,智能DNS都能够引导用户访问对应的最佳链路,以提升用户的网络访问体验。
- 李聪颖于金良
- 关键词：LINUXBIND9智能DNS校园网负载均衡
- 基于Flume的MySQL数据自动收集系统被引量：5
- 2016年
- 针对分布式系统中、不同数据中心之间的数据收集,同时解决将数据由关系型数据库交换到非关系型数据库的问题,提出一种基于Flume的MySQL数据库数据自动收集系统。为了符合现实中的生产环境,该系统采用的是一种星型拓扑结构。系统可以自动查询给定的MySQL数据库表,自动检测表中的数据更新,实现自动增量传输,并对原始数据进行封装、解析,最终将数据存储到非关系型数据库HBase中。在测试中,系统中每台机器的平均传输速度可达到1 111 kb/s,系统总的平均传输速度可以达到3 333 kb/s,并且保证了数据的完整性,实现了可靠高效传输的目标。
- 于金良朱志祥梁小江
- 关键词：FLUMEMYSQL数据库HBASEJDBC
- 基于Pig__Spark的分布式数据分析处理平台被引量：1
- 2017年
- 传统的数据分析平台Pig的执行引擎是MapReduce,由于MapReduce的局限性,使得数据处理过程中存在高延迟,内存开销大等缺点。为克服这些不足,文中基于当下最流行的内存计算框架Spark,在保留传统数据分析平台Pig语言特性和基础设施的基础上,开发实现了一种全新的数据分析处理平台,并通过具体实验对比两个数据平台的性能。实验结果证明,基于Saprk的数据分析平台在数据处理速度上远远高于传统的数据分析平台Pig。
- 陈晓于金良朱志祥
- 关键词：SPARKPIG大数据
- 一种分布式消息队列研究与测试被引量：5
- 2016年
- 为了解决实时流式数据的采集问题,研究了一种分布式消息队列Kafka,它可以实时采集流式数据,处理数据时先从它订阅,就可以以流数据的形式处理数据。该队列具有部署简单、易于管理、吞吐量高、高容错性等优点。经测试,该队列可以满足实际生产中对吞吐量的需求。
- 于金良朱志祥李聪颖
- 关键词：分布式消息队列主题流数据
- Hadoop MapReduce新旧架构的对比研究综述被引量：8
- 2017年
- Hadoop MapReduce架构经过了一次重构,新旧架构有着巨大的差异。论文首先介绍了旧版本MapReduce的架构,作业执行的流程与其中的任务的调度、资源分配等,指出了旧框架的局限性。再介绍了新框架的架构,任务调度和资源分配等。并从二者的架构、任务调度、资源分配等方面进行了对比,指出了新框架的优势。新一代的MapReduce框架YARN是共享模式的,可以在同一集群上运行使用不同的计算框架编写的应用程序,同时也减少了运维的难度,提高了集群资源的利用率。
- 于金良朱志祥李聪颖
- 关键词：MAPREDUCEYARN任务调度资源分配
- 大数据分布式全文检索系统的设计与实现被引量：9
- 2016年
- 论文是基于一种开源企业搜索引擎Solr实现对大数据分布式数据库HBase中数据的检索。论文简单地介绍了分布式存储技术HBase和分布式索引技术SolrCloud,实现了基于Solr和Zookeeper的分布式搜索方式SolrCloud模式对HBase表的索引的建立。该系统通过python程序在对HBase中的Rowkey建立索引的同时还对每列数据都建立索引,实现了Hbase的二级索引,克服了HBase只能通过Rowkey单一查询的不足。经过反复测试,充分地表明了基于Solr的分布式搜索系统的高效性及高可靠性。
- 李聪颖王瑞刚于金良
- 关键词：SOLRHBASE大数据搜索PYTHON
- Apache高可用性集群的研究与实现
- 2016年
- 高可用性集群是以减少服务间断时间为目的的一组服务节点,该系统能够最大限度地向用户提供不间断的网络服务,使集群的整体服务最大可用。文中采用Pacemaker对Apache提供集群资源管理,并用Corosync实现通信和关系管理,当集群中的某一个节点发生故障时,其他节点将在几秒钟甚至更短时间内自动接管集群资源和服务,从而不间断的向用户提供服务,最大限度地减少服务中断的时间。本系统添加了一个VIP资源,利用VIP测试Apache的高可用性。测试结果表明,该集群系统可以有效增强Apache集群服务的可用性,具有高性价比、高可靠性、高扩展性等特点。
- 李聪颖王瑞刚于金良
- 关键词：APACHEPACEMAKERLINUX高可用
- 一种基于Sqoop的数据交换系统被引量：17
- 2016年
- Hadoop是一个可开源提供分布式服务的平台,由于其具有高可靠、高效、高容错性和很强的横向扩展性,因此在大数据领域应用非常广泛,是当今大数据行业的热门。为了将关系型数据库中的数据导入到Hadoop集群中,以达到利用Hadoop本身的优点对数据进行存储、分析、处理的目的,并且在数据传输过程中兼顾传输效率和数据质量。本系统使用一种开源的数据传输工具Sqoop将关系型数据库中的数据导入到Hadoop平台上的分布式文件系统(HDFS)、非关系型数据库(HBase)、关系型数据仓库(Hive)中存储,从而实现数据交换。经测试,该系统可以完成数据交换的功能,系统总的传输速度可以达到20 000条/秒。在网络畅通的条件下,没有数据丢失,保证了数据质量,可实现数据的高效、可靠传输。
- 于金良朱志祥梁小江
- 关键词：数据交换HADOOP大数据
- Hadoop平台的自动化部署与监控研究被引量：7
- 2016年
- 为了解决Hadoop大数据平台的部署过程复杂以及运维难度大的问题,提出一种自动化部署与监控Hadoop平台的系统方案。该系统可以自动化部署Hadoop平台,并监控集群及其中各个服务的状态,统一管理集群中的资源。还对此系统进行了安装使用,明显降低了集群部署的复杂度,以及使用过程中的运维成本,达到了预期的要求。
- 于金良朱志祥李聪颖
- 关键词：HADOOP自动化部署
