赵小明
- 作品数:76 被引量:165H指数:6
- 供职机构:台州学院更多>>
- 发文基金:浙江省自然科学基金国家自然科学基金浙江省教育厅科研计划更多>>
- 相关领域:自动化与计算机技术文化科学电子电信环境科学与工程更多>>
- 面向深度学习的多模态情感识别研究进展被引量:13
- 2022年
- 多模态情感识别是指通过与人类情感表达相关的语音、视觉、文本等不同模态信息来识别人的情感状态。该研究在人机交互、人工智能、情感计算等领域有着重要的研究意义,备受研究者关注。鉴于近年来发展起来的深度学习方法在各种任务中所取得的巨大成功,目前各种深度神经网络已被用于学习高层次的情感特征表示,用于多模态情感识别。为了系统地总结深度学习方法在多模态情感识别领域中的研究现状,拟对近年来面向深度学习的多模态情感识别研究文献进行分析与归纳。首先,给出了多模态情感识别的一般框架,并介绍了常用的多模态情感数据集。然后,简要回顾了代表性深度学习技术的原理及其进展。随后,重点详细介绍了多模态情感识别中的两个关键步骤的研究进展:与语音、视觉、文本等不同模态相关的情感特征提取方法,包括手工特征和深度特征;融合不同模态信息的多模态信息融合策略。最后,分析了该领域面临的挑战和机遇,并指出了未来的发展方向。
- 赵小明赵小明张石清
- 关键词:情感识别多模态
- 一种基于多模深度学习的双模态情感识别方法
- 本发明涉及语音和图像处理、模式识别领域,公开了一种基于多模深度学习的双模态情感识别方法,包括步骤:A)分别获得音频和视频RGB图像三通道输入矩阵,获得音频数据样本和视频数据样本;B)构建音频深度卷积神经网络和视频深度卷积...
- 赵小明张石清
- 文献传递
- 一种全自动双柔性臂可视压舌板
- 本发明公开了一种全自动双柔性臂可视压舌板,包括固定法兰,固定法兰可拆卸连接有压舌板本体,压舌本本体内部配合设有前部通孔和后部通孔;固定法兰上配合前部通孔设有双目支撑柔性臂,配合后部通孔设有第一支撑柔性臂;固定法兰上配合双...
- 张国安杨本全张石清赵小明陈月芬郭辰
- 文献传递
- 一种基于混合深度学习的视频序列表情识别方法
- 本发明公开了一种基于混合深度学习的视频序列表情识别方法。实现步骤为:(1)视频序列的预处理;(2)采用时空卷积神经网络提取视频片段的时空特征;(3)采用深度信念网络实现视频片段上提取的时空特征的深度融合;(4)采用平均池...
- 张石清赵小明潘仙张
- 文献传递
- 音视频情感识别的关键技术研究
- 张石清赵小明陶欣闯跃龙
- 在国家自然科学基金项目(61203257)和浙江省自然科学基金项目(Y1111058、LY16F020011)支持下,围绕音视频情感识别中的关键技术,如音视频情感特征提取和音视频信息融合策略,开展面向单一模态的语音情感识...
- 关键词:
- 关键词:人脸图像
- 一种基于卷积神经网络和双耳表征的自然语音情感识别方法
- 本发明涉及语音和图像处理、模式识别领域,公开了一种基于卷积神经网络和双耳表征的自然语音情感识别方法,包括步骤:A)采集语音信号,获得与四种语音Mel频谱片段对应的语音RGB图像三通道输入矩阵;B)构建四个语音深度卷积神经...
- 张石清赵小明
- 文献传递
- 一种全自动双柔性臂插管系统
- 本发明公开了一种全自动双柔性臂插管系统,包括医用床及设置在医用床上的支撑标定枕,支撑标定枕与一控制器配合设置,医用床外配合支撑标定枕上的人体头部设有双柔性臂插管机器人;所述双柔性臂插管机器人与所述控制器配合设置;本发明通...
- 张国安杨本全林学正陈爱华张家智赵小明陈志刚
- 文献传递
- 基于特征和几何拓扑信息的医学图像分割关键技术研究
- 赵小明张石清蒋云良管功湖李振龙郭文平叶喜剑
- 图像分割作为计算机图像处理与分析中的一个重要的预处理技术,仍没有一个通用而且有效的方法能够同时满足不同目的的需要,这一问题对于需要大量使用医学图像进行临床诊断的医学来说尤为突出。该项目的研究成果包括:为了更好地处理呈非线...
- 关键词:
- 关键词:计算机图像处理流形学习方法
- 一种基于多模深度特征学习的自然语音情感识别方法
- 本发明公开了一种基于多模深度特征学习的自然语音情感识别方法,包括以下步骤:S1、生成适当的多模态表示:从原始的一维语音信号中生成三种适当的音频表示形式,用于后续不同CNN模型的输入;S2、采用多重深度卷积神经网络模型学习...
- 张石清赵小明
- 一种局部稀疏判别投影算法被引量:5
- 2013年
- 提取有效特征是模式识别中的关键步骤。流形学习算法能有效处理样本的非线性,而稀疏表示表现出具有较好的鲁棒性。为了提取具有判别特性和鲁棒的特征,本文结合稀疏表示和判别准则,提出了一种局部稀疏表示和判别分析的特征提取算法,即局部稀疏判别投影算法,并应用于人脸识别。算法通过保持数据间的局部稀疏性和最大化不同类圳数据间的可分性,使得降维后的数据具有稀疏性和可分性,因此有利于后续的分类。在ORL和YALE两个开放人脸数据库上进行了实验,实验结果表明,算法具有较高的识别性,验证了算法的正确性和有效性。
- 楼宋江赵小明张石清
- 关键词:流形学习数据降维人脸识别