赵洋 作品数:11 被引量:30 H指数:4 供职机构: 合肥工业大学计算机与信息学院 更多>> 发文基金: 国家自然科学基金 中央高校基本科研业务费专项资金 安徽省自然科学基金 更多>> 相关领域: 自动化与计算机技术 更多>>
面向同胚异构骨骼运动重定向的高阶图卷积网络 2024年 目的 骨骼运动重定向是指将源角色的骨骼运动数据,修改后运用到另一个具有不同骨架结构的目标角色上,使得目标角色和源角色做出相同的动作。由于骨骼运动数据与骨架结构之间具有高耦合性,重定向算法需要从运动数据中分离出与骨架结构无关、只表示动作类型的特征。当源角色与目标角色骨架结构不同,且两者运动模式(如关节角变化范围)存在较大差异时,特征分离难度加大,重定向网络训练难度变大。针对该问题,提出了特征分离的方法和高阶骨骼卷积算子。方法 在数据处理阶段,首先从运动数据中分离出一部分与骨架结构无关的特征,从而降低重定向网络训练难度,得到更好的重定向结果。另外,结合图卷积网络,本文针对人体骨架结构提出了高阶骨骼卷积算子。使用该算子,本文网络模型可以捕获更多有关骨架结构的信息,提高重定向结果的精度和视觉效果。结果 在异构重定向任务中,本文方法在合成动画数据集Mixamo上与最新方法对比,重定向结果精度提升了38.6%。另外,本文方法也同样适用于同构重定向,结果精度比最新方法提升了74.8%。在从真人采集的运动数据到虚拟动画角色的异构重定向任务中,相比最新方法,本文方法能够明显减少重定向错误,重定向结果有更高的视觉质量。结论 相比较于目前最新的方法,本文方法降低了特征分离的难度且更加充分挖掘了骨架的结构信息,使得重定向结果误差更低且动作更自然合理。 贾伟 李骏 李书杰 赵洋 闵海关键词:运动重定向 改进YOLOX的唐卡壁画目标检测算法 2024年 热贡唐卡壁画作为人类及国家级非物质文化遗产是藏族文化中独具特色的艺术形式,其画面不仅表现出了佛教本生故事,更体现了藏地的历史、地理、文化、科技等内容。然而,不具备热贡艺术专业知识的人们很难对其进行了解。因此提出了一种唐卡壁画元素的自动检测算法,用于推动唐卡壁画的传播。通过对YOLOX算法进行改进,提出了ECAMH-YOLOX模型对唐卡壁画图像进行检测。ECAMH-YOLOX模型是在YOLOX的基础上增加了高效通道注意力模块,在保持轻量化的同时获得更好的图像全局信息;同时为了更好地检测不同尺度的目标,在检测头模块增加了一个新的检测头,通过四个检测头对图像进行检测,以此来提高不同尺寸目标的检测结果;并使用SIoU损失函数计算回归损失以此来加快模型的收敛速度,提高模型效果。实验结果证明,ECAMH-YOLOX模型在所构建的唐卡壁画数据集上均不存在漏检错检的情况,而YOLOX算法存在对小目标的漏检现象,并且ECAMHYOLOX模型的mAP0.5:0.95达到了55.9%,比YOLOX算法提升了0.049。该模型在保持轻量化的同时,进一步提高了检测效果。也增加了人们了解热贡艺术的途径。 李洪运 张效娟 赵洋 赵洋关键词:目标检测 壁画 多层感知分解的全参考图像质量评估 被引量:6 2019年 目的图像质量评估是计算机视觉、图像处理等领域的基础研究课题之一,传统评估方法常基于图像低层视觉特征而忽略了高层语义信息,这也在一定程度上影响了客观指标和主观视觉质量的一致性。近年来,感知损失被广泛应用于图像风格化、图像复原等研究中,通过使用预训练的深度网络对图像进行多层语义分解,在相关问题上取得了较好的效果。受感知损失启发,提出一种多层感知分解的全参考图像质量评估方法。方法首先使用预训练的深度网络对图像进行多层语义分解,获取多层特征图,再计算失真图像与参考图像之间的相似度,以及它们的不同层级特征图之间的相似度,最终得出兼顾了高层语义信息的图像质量分数。结果针对传统方法 PSNR(peak signal-to-noise ratio)、SSIM (structure similarity)、MS-SSIM (multi-scale structure similarity)及FSIM (feature similarity)进行实验,结果表明,本文方法能够有效提升传统图像质量评估方法的性能,在SRCC (Spearman rank order correlation coefficient)、KRCC (Kendall rank order correlation coefficient)、PLCC (Pearson linear correlation coefficient)和RMSE (root mean squared error)客观指标上均有相应提升。通过使用本文框架,PSNR、SSIM、MS-SSIM、FSIM方法在TID2013数据库上SRCC指标分别获得0. 02、0. 07、0. 06和0. 04的提升。结论本文提出的一种多层感知分解的全参考图像质量评估方法,结合传统方法与深度学习方法,兼顾了图像低层视觉特征和高层语义信息,从而有效地提升了传统方法的评估性能,使客观评估结果更加符合主观视觉感受,同时,本文提出的评估框架能够适用于多种传统方法的性能提升。 李国庆 赵洋 刘青萌 殷翔宇 王业南关键词:图像质量评估 卷积神经网络 基于递归对齐网络的黑白老卡通高清重制 2022年 黑白老卡通视频在数字化的过程中会出现诸如划痕、脏点、模糊和分辨率过低等复合问题,老卡通视频增强是视频增强的一类特殊子问题,当前尚缺乏针对性算法,因此提出一种多帧联合的递归对齐增强网络解决老卡通中的复合问题。首先通过递归结构传递重建历史中的长时域信息对划痕与脏点进行修复,解决了连续性划痕与脏点的处理难题。然后在递归单元中通过基于可变形卷积的对齐模块进行相邻帧特征对齐,改善了网络在卡通大幅度运动场景中提取和补充帧间细节的能力。在递归单元末端设计了级联金字塔结构的多尺度重建模块促进特征聚合,以充分挖掘重建所需的时间和空间细节信息。实验使用峰值信噪比等客观评估标准,在降质数据集和真实老卡通数据集上进行实验测试,并与其他主流方法进行对比。实验结果表明,该方法相比于其他主流视频增强方法有较为明显提升,同时在真实黑白老卡通上可获取高视觉质量的重建结果。 李华恩 赵洋 陈缘 张效娟关键词:视频增强 递归网络 基于低分辨率彩色指导图像的深度图像超分辨率重建 被引量:6 2018年 传统的以彩色图像为指导的深度图像超分辨率(SR)重建方法,参考图像必须为高分辨率彩色图像,彩色图像的分辨率决定了深度图像的放大上限。同时,实际应用中可能只存在低分辨率彩色图像,此时上述方法也不再适用。为此,探讨使用任意分辨率彩色图像为指导的深度图像SR重建方法。首先,使用大量不同类别的图像SR算法对输入彩色图像进行上采样,得到高分辨率彩色图像并以此作为指导图像,然后采用基于二阶总广义变分方法,将由低分辨率彩色图像重建得到的图像作为正则约束项,添加图像边缘信息,构建目标函数,将深度图像SR重建问题转化为最优化问题,再通过原-对偶方法求解,最终得到高分辨率深度图像。探讨了之前被相关方法所忽略的情形,该方法可以适用于任意分辨率的彩色指导图像。并且通过相关实验发现了令人惊异的现象,即通过使用低分辨率彩色图像放大后作为指导,可以得到与使用高分辨率彩色指导图像相近甚至更好的结果,对相关问题的研究和应用具有一定参考意义。 武玉龙 赵洋 曹明伟 刘晓平关键词:超分辨率重建 深度图像 基于自注意力机制的多阶段无监督单目深度估计网络 被引量:6 2020年 单幅图像的深度估计是场景几何理解过程中的一个重要步骤,但由于尺度模糊,也被计算机视觉领域普遍认为是一个典型的不适定问题。近年来,尽管监督学习方法在单目深度估计中取得了基本令人满意的效果,但需要对数据集进行大量真实深度值的标记,这是一项成本较高的工作。此外,由于物体的运动、遮挡、光照等常见问题,单目深度估计的表现并不尽如人意,尤其是在物体边缘和弱纹理区域。为了解决这些问题,本文提出了一种基于自注意力的多阶段无监督单目深度估计网络。该方法具有以下特点:1)多阶段网络结构对训练过程中的深度估计具有较强的约束和监督作用;2)通过掩模加权重构损失和左右视差一致性损失对网络进行优化;3)采用自注意力机制捕捉更多上下文信息,进而提升预测结果。实验结果表明,该方法在KITTI数据集上的深度估计效果达到甚至超过了已有方法。 刘香凝 赵洋 赵洋关键词:无监督学习 多阶段网络 基于调色板的半交互式低照度唐卡图像增强 被引量:1 2023年 唐卡作为热贡艺术重要表现形式之一,其结构复杂、颜色鲜艳、线条清晰、绘画精美,受到越来越多的人喜爱。在实际采集过程中,由于各个寺院灯光昏暗,在此条件下拍摄的图像常存在光照不均匀、噪声多、颜色失真、细节信息丢失等问题。因此提出了一种基于调色板的半交互式低照度唐卡图像增强方法:首先基于Retinex模型设计了一个卷积块注意力模块(CBAM)与U-Net相结合的低照度增强网络RCUNet,通过针对性设计损失函数,进行无监督迭代训练,对光照图、反射图和噪声图进行重构,并在得到最终分解结果后,对光照图、反射图进行调整,合成增强的结果。然后,采用改进的K-means算法,对增强后的图像提取主要颜色生成对应的调色板,通过修改调色板颜色进一步修正增强后图片的颜色。最后,与目前流行的几种低照度增强方法,在唐卡数据集上进行了定量、定性对比实验,实验结果表明该方法在NIQE,PIQE和PSNR 3个指标上取得了最好的结果。 张驰 张效娟 赵洋 赵洋关键词:热贡唐卡 调色板 指节纹识别综述 被引量:8 2017年 相比其它生物特征,指节纹具有特征丰富,采集设备价格低,易于结合手形、手指静脉及掌纹组成性能鲁棒的多模态识别系统等优点.文中首先介绍指节纹的定义、数据采集、预处理方法等,之后详细介绍各种指节纹识别算法及多模态识别方案.根据特征提取及匹配方法的不同,将指节纹识别算法分为6类:基于结构的算法、基于子空间学习的算法、基于编码的算法、基于纹理特征的算法、基于相关滤波器的算法和基于局部特征描述子的算法.回顾和总结各种算法的特点,展望未来指节纹识别的发展方向. 陆劲挺 贾伟 叶慧 赵洋 闵海 余烨 胡戎翔关键词:生物特征识别 有限色彩空间下的线稿上色 2024年 目的 线稿上色是由线条构成的黑白线稿草图涂上颜色变为彩色图像的过程,在卡通动画制作和艺术绘画等领域中是非常关键的步骤。全自动线稿上色方法可以减轻绘制过程中烦琐耗时的手工上色的工作量,然而自动理解线稿中的稀疏线条并选取合适的颜色仍较为困难。方法 依据现实场景中特定绘画类型常有固定用色风格偏好这一先验,本文聚焦于有限色彩空间下的线稿自动上色,通过约束色彩空间,不仅可以降低语义理解的难度,还可以避免不合理的用色。具体地,本文提出一种两阶段线稿自动上色方法。在第1阶段,设计一个灰度图生成器,对输入的稀疏线稿补充线条和细节,以生成稠密像素的灰度图像。在第2阶段,首先设计色彩推理模块,从输入的颜色先验中推理得到适合该线稿的色彩子空间,再提出一种多尺度的渐进融合颜色信息的生成网络以逐步生成高质量的彩色图像。结果 实验在3个数据集上与4种线稿自动上色方法进行对比,在上色结果的客观质量对比中,所提方法取得了更高的峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity index measure,SSIM)值以及更低的均方误差;在上色结果的色彩指标对比中,所提方法取得了最高的色彩丰富度分数;在主观评价和用户调查中,所提方法也取得了与人的主观审美感受更一致的结果。此外,消融实验结果也表明了本文所使用的模型结构及色彩空间限制有益于上色性能的提升。结论 实验结果表明,本文提出的有限色彩空间下的线稿自动上色方法可以有效地完成多类线稿的自动上色,并且可以简单地通过调整颜色先验以获得更多样的彩色图像。 陈缘 赵洋 张效娟 刘晓平关键词:卡通 绘画 基于时空融合的多帧压缩视频增强方法 2022年 为了减少视频的存储和传输开销,通常对视频进行有损压缩处理以减小体积,往往会在视频中引入各类不自然效应,造成主观质量的严重下降。基于单帧的压缩图像复原方法仅利用当前帧有限的空间信息,效果有限。而现有的多帧方法则大多采用帧间对齐或时序结构来利用相邻帧信息以加强重建,但在对齐性能上仍有较大的提升空间。针对上述问题,提出一种基于多帧时空融合的压缩视频复原方法,通过设计的深度特征提取块和自适应对齐网络实现更优的对齐融合,充分地利用多帧时空信息以重建高质量视频。该方法在公开测试集上(HEVC HM16.5低延时P配置)优于所有对比方法,并在客观指标上(峰值信噪比PSNR)相比于目前最先进的方法STDF取得了平均0.13 dB的提升。同时,在主观比较上,该方法也取得了领先的效果,重建出更干净的画面,实现了良好的压缩不自然效应去除效果。 马彦博 李琳 陈缘 赵洋 胡锐关键词:视频增强