刘君芳
- 作品数：2 被引量：3H指数：1
- 供职机构：南京邮电大学通信与信息工程学院更多>>
- 发文基金：国家自然科学基金北京市自然科学基金更多>>
- 相关领域：电子电信更多>>
- 基于情感的家庭音乐相册自动生成研究被引量：2
- 2017年
- 随着互联网以及社交网络的发展,电子相册逐渐成为应用广泛的基础服务之一,而如何提高相册的用户体验变得尤为重要.本文提出基于情感的家庭音乐相册自动生成研究,旨在解决为用户喜爱的音乐自动推荐与其情感表达相近的相册图片问题.本文从音乐和图像蕴含的情感出发,音乐上选取梅尔频率频谱系数(MFCC)和相关谱感知线性预测(RASTA-PLP)特征,图像上选取比较直观的颜色特征.在算法上使用了核化典型相关分析(KCCA)方法,该算法解决了图像特征与音乐特征之间异构和跨模态的特征融合问题,实现了音乐相册的自动生成.在实验中,客观评测结果表明,采用KCCA方法在查准率方面高于纯CCA方法;在主观评测中KCCA获得69.45%的满意度,与人工推荐的评价结果(78.09%)比较接近,高于随机推荐和CCA方法的满意度.
- 邵曦刘君芳季茜成
- 关键词：音乐情感图像情感
- 多模态融合的家庭音乐相册自动生成被引量：1
- 2017年
- 随着大数据以及社交网络的发展,电子相册与在线服务成为如今人们使用计算机与互联网的基础应用.尤其是近年社交网络的流行,电子相册的数量得到了爆炸增长,而如何增强相册的用户体验变得尤为重要.具有某种主题的相册一般都带有一定的情感信息,因此,本文研究了基于多模态融合的家庭音乐相册自动生成问题,旨在使用户能够在享受音乐的同时配以与音乐情感相同的相册图片.针对音乐与图片中所蕴含的情感,本文在音乐和图像中分别选取能够表达其情感的句子级别的音频特征和图像特征,然后在图像与音乐之间异构和跨模态的特征融合问题上,采用局部保持投影(LPP)方法,将图像特征与音乐特征映射到更具情感分类能力的隐式特征空间中,实现了音乐相册的自动生成.在实验中,客观评测结果表明,采用LPP方法在查准率方面高于纯CCA方法;在主观评测中LPP获得72.06%的满意度,与人工推荐的评价结果(78.09%)比较接近,明显高于随机推荐和CCA方法的满意度.
- 刘君芳邵曦
- 关键词：情感模型多模态融合
