李聪颖
- 作品数：8 被引量：42H指数：5
- 供职机构：西安邮电大学更多>>
- 相关领域：自动化与计算机技术更多>>
- Hadoop MapReduce新旧架构的对比研究综述被引量：8
- 2017年
- Hadoop MapReduce架构经过了一次重构,新旧架构有着巨大的差异。论文首先介绍了旧版本MapReduce的架构,作业执行的流程与其中的任务的调度、资源分配等,指出了旧框架的局限性。再介绍了新框架的架构,任务调度和资源分配等。并从二者的架构、任务调度、资源分配等方面进行了对比,指出了新框架的优势。新一代的MapReduce框架YARN是共享模式的,可以在同一集群上运行使用不同的计算框架编写的应用程序,同时也减少了运维的难度,提高了集群资源的利用率。
- 于金良朱志祥李聪颖
- 关键词：MAPREDUCEYARN任务调度资源分配
- 基于BIND9的校园网智能DNS实现被引量：5
- 2017年
- 为了解决不同的网络来源访问者能够高速访问校园网内部服务器的问题,文中基于BIND9视图,结合HAProxy负载均衡技术提出了智能DNS策略解析方案。智能DNS可以智能地判断用户的访问来源,然后把不同用户的IP地址分别解析为对应的服务器IP地址。经测试表明,教育网、网通以及电信用户在分别访问校园网时,智能DNS都能够引导用户访问对应的最佳链路,以提升用户的网络访问体验。
- 李聪颖于金良
- 关键词：LINUXBIND9智能DNS校园网负载均衡
- 一种分布式消息队列研究与测试被引量：5
- 2016年
- 为了解决实时流式数据的采集问题,研究了一种分布式消息队列Kafka,它可以实时采集流式数据,处理数据时先从它订阅,就可以以流数据的形式处理数据。该队列具有部署简单、易于管理、吞吐量高、高容错性等优点。经测试,该队列可以满足实际生产中对吞吐量的需求。
- 于金良朱志祥李聪颖
- 关键词：分布式消息队列主题流数据
- CDN技术的研究与设计被引量：3
- 2015年
- CDN是互联网上的一层智能虚拟网络,通过在网络各节点处放置缓存服务器,可根据各节点的连接状况、负载状况、网络流量,以及各节点到用户的距离和响应时间的长短等因素,使用户从最近的服务节点上获取资源。文中主要通过对智能DNS的解析,使用户访问CDN服务站点时,能够实现不同用户的域名解析,若缓存服务器中没有用户需要的资源,则通过源站获取,这样可以增加访问速度,提高用户体验。
- 李聪颖王瑞刚梁小江
- 关键词：CDN内容分发网络智能DNS网络加速缓存服务器
- 基于Hadoop的交互式大数据分析查询处理方法被引量：5
- 2016年
- 基于Hadoop的交互式大数据分析查询处理方法旨在快速分析查询大数据集的信息,最重要的特征就是查询速度快。该方法能够运行在上千节点的集群上,适于半结构化/嵌套数据的分析、兼容现有的SQL环境和Apache Hive。文中主要利用此方法实现连接HDFS、Hive以及Hbase进行查询测试,还完成了同时从不同数据源上关联查询数据。在同一Hadoop集群环境中,将该方法与Spark SQL对于10万、20万、50万、100万、500万条数据进行查询速度对比测试。经过多次实验后得出,基于Hadoop的交互式大数据分析查询处理方法速度快、效率高,能够帮助企业用户快速、高效地进行Hadoop数据查询和企业级大数据分析。
- 李聪颖王瑞刚梁小江
- 关键词：HADOOP集群交互式查询SQL
- 大数据分布式全文检索系统的设计与实现被引量：9
- 2016年
- 论文是基于一种开源企业搜索引擎Solr实现对大数据分布式数据库HBase中数据的检索。论文简单地介绍了分布式存储技术HBase和分布式索引技术SolrCloud,实现了基于Solr和Zookeeper的分布式搜索方式SolrCloud模式对HBase表的索引的建立。该系统通过python程序在对HBase中的Rowkey建立索引的同时还对每列数据都建立索引,实现了Hbase的二级索引,克服了HBase只能通过Rowkey单一查询的不足。经过反复测试,充分地表明了基于Solr的分布式搜索系统的高效性及高可靠性。
- 李聪颖王瑞刚于金良
- 关键词：SOLRHBASE大数据搜索PYTHON
- Apache高可用性集群的研究与实现
- 2016年
- 高可用性集群是以减少服务间断时间为目的的一组服务节点,该系统能够最大限度地向用户提供不间断的网络服务,使集群的整体服务最大可用。文中采用Pacemaker对Apache提供集群资源管理,并用Corosync实现通信和关系管理,当集群中的某一个节点发生故障时,其他节点将在几秒钟甚至更短时间内自动接管集群资源和服务,从而不间断的向用户提供服务,最大限度地减少服务中断的时间。本系统添加了一个VIP资源,利用VIP测试Apache的高可用性。测试结果表明,该集群系统可以有效增强Apache集群服务的可用性,具有高性价比、高可靠性、高扩展性等特点。
- 李聪颖王瑞刚于金良
- 关键词：APACHEPACEMAKERLINUX高可用
- Hadoop平台的自动化部署与监控研究被引量：7
- 2016年
- 为了解决Hadoop大数据平台的部署过程复杂以及运维难度大的问题,提出一种自动化部署与监控Hadoop平台的系统方案。该系统可以自动化部署Hadoop平台,并监控集群及其中各个服务的状态,统一管理集群中的资源。还对此系统进行了安装使用,明显降低了集群部署的复杂度,以及使用过程中的运维成本,达到了预期的要求。
- 于金良朱志祥李聪颖
- 关键词：HADOOP自动化部署
