杜言琦
- 作品数：7 被引量：25H指数：2
- 供职机构：山东大学计算机科学与技术学院更多>>
- 发文基金：山东省自然科学基金国家自然科学基金山东省科技攻关计划更多>>
- 相关领域：自动化与计算机技术文化科学更多>>
- 基于主题模型LDA的多文档自动摘要
- 随着Web上文档数量的指数型增长，文档摘要起到越来越重要的作用，近年来使用概率主题模型表示多文档摘要问题受到研究者的关注。LDA(LatentDirichlet Allocation)是主题模型中具有代表性的概率生成性模...
- 杨潇马军杨同峰杜言琦邵海敏
- 关键词：LDA模型多文档自动文摘
- 文献传递
- 基于版块的论坛增量搜集策略被引量：2
- 2010年
- 该文研究论坛的增量搜集问题。由于在论坛中同一主题通常分布在多个页面上,而传统增量搜集技术的抓取策略通常是基于单个页面,因此这些技术并不适于对论坛增量搜集。该文通过对许多论坛中版块变化规律的统计分析,提出了基于版块的论坛增量搜集策略。该策略将属于同一版块的所有页面看做一个整体,以它做为抓取的基本单位。同时该策略利用版块权重和局部时间规律确定抓取频率和抓取时间点。实验结果表明本策略对新增和新回复帖子的平均召回率为99.3%,并且与平均调度方法相比系统总延迟最高可减小42%。
- 杜言琦马军
- 关键词：计算机应用中文信息处理
- 主题模型LDA的多文档自动文摘被引量：23
- 2010年
- 近年来使用概率主题模型表示多文档文摘问题受到研究者的关注.LDA(latent dirichlet allocation)是主题模型中具有代表性的概率生成性模型之一.提出了一种基于LDA的文摘方法,该方法以混乱度确定LDA模型的主题数目,以Gibbs抽样获得模型中句子的主题概率分布和主题的词汇概率分布,以句子中主题权重的加和确定各个主题的重要程度,并根据LDA模型中主题的概率分布和句子的概率分布提出了2种不同的句子权重计算模型.实验中使用ROUGE评测标准,与代表最新水平的SumBasic方法和其他2种基于LDA的多文档自动文摘方法在通用型多文档摘要测试集DUC2002上的评测数据进行比较,结果表明提出的基于LDA的多文档自动文摘方法在ROUGE的各个评测标准上均优于SumBasic方法,与其他基于LDA模型的文摘相比也具有优势.
- 杨潇马军杨同峰杜言琦邵海敏
- 关键词：多文档自动文摘主题模型LDA
- 基于版块的论坛增量搜集策略
- 本文研究论坛的增量搜集问题。由于在论坛中同一主题通常分布在多个页面上,而传统增量搜集技术的重抓取策略通常是基于单个页面,因此这些技术并不适于对论坛增量搜集。本文通过对许多论坛中版块变化规律的统计分析,提出了基于版块的论坛...
- 杜言琦马军
- 文献传递
- 基于主题模型LDA的多文档自动摘要
- 随着Web上文档数量的指数型增长,文档摘要起到越来越重要的作用,近年来使用概率主题模型表示多文档摘要问题受到研究者的关注。LDA(Latent Dirichlet Allocation)是主题模型中具有代表性的概率生成性...
- 杨潇马军杨同峰杜言琦邵海敏
- 关键词：多文档自动文摘主题模型LDA
- 文献传递
- 基于版块的论坛增量搜集策略
- 本文研究论坛的增量搜集问题。由于在论坛中同一主题通常分布在多个页面上，而传统增量搜集技术的蕈抓取策略通常是基于单个页面，因此这些技术并不适于对论坛增量搜集。本文通过对许多论坛中版块变化规律的统计分析，提出丁基于版块的论坛...
- 杜言琦马车
- 文献传递
- 面向论坛页面的增量搜集技术研究
- 网络论坛是用户创建和讨论话题的平台，每天都有数以百万的用户发表各种话题。论坛数据通常包含大量高价值的知识和信息，已经成为重要的数据源。有些商业搜索引擎利用论坛数据来改善搜索结果的质量，还有些研究试图从论坛数据中挖掘有用的...
- 杜言琦
- 文献传递
