原创西电HDR视频生成算法技术成果被ACMMM2022

　　原标题：西电HDR视频生成算法技术成果被ACMMM2022

　　近日，西安电子科技大学通信工程学院何刚老师团队北京快手科技有限公司。

　　传统SDR视频（standarddynamicrangevideo）生成高质量HDR视频（highdynamicrangevideo）（SDRTV-to-HDRTV）技术研究成果“SDRTV-to-HDRTVviaHierarchicalDynamicContextFeatureMapping”中顶级会议多媒体领域ACMMM（ACMMultimedia）2022收录。

　　研究团队在国际上首创了基于动态特征变换的特征映射模型。该模型是第一个将色彩亮度信息变换建模为特征映射过程的方案，并提出动态特征变换实现高效的特征映射，使得HDR视频的色彩和亮度信息得到更准确的还原，主观性和极大改善生成视频的客观质量。目前，市场上的大部分视频资源还是传统的SDR格式。该研究成果可以再现SDR视频细节更丰富、色域更广、色彩过渡更自然，同时推动HDR相关技术的发展和演进。

　　与传统的SDR视频相比，HDR视频具有亮度更大、色彩范围更广的优势，因此可以更逼真地还原真实场景。目前，多种能够播放HDR视频的显示终端已经大量进入消费市场（如iPhone8及以上，以及大量安卓机型），但市面上的大部分视频资源还停留在传统的SDR格式，而HDR视频资源非常稀缺。现有的SDR格式视频生成HDR视频，可以大大提升用户的视频观看体验，是视频领域急需解决的痛点。

　　HDR视频对真实环境的还原度更高，更真实（左边是SDR视频，右边是HDR视频）

　　何刚老师的团队结合深度学习技术，针对SDR视频到HDR视频（SDRTV-to-HDRTV）的转换任务，开发了相应的逆色调映射转换算法，并取得了优异的成绩。以往的算法思路主要是利用全局特征调制来模拟逆色调映射的过程。全局特征调制对提取的图像特征进行特征缩放和平移，从而将SDR视频帧的特征转换为HDR视频帧的特征。

　　考虑到全局特征调制只是对原始特征空间中的特征进行缩放和改变，无法将SDR特征空间中的视频特征转换到HDR对应的特征空间中。为此，本文使用特征映射对SDRTV-to-HDRTV的任务进行建模，并提出了一种动态特征转换模块，可以更好地将原始SDR特征转换为HDR特征。此外，提出了层特征调制模块，可以对视频帧进行局部自适应处理，从而可以同时完成视频帧的暗部增强和亮部抑制。最后，提出了一种基于patchdiscriminator的生成对抗网络模型来完成HDR视频帧的高光生成。本文的框架最终由两个模型组成：HDCFM（HierarchicalDynamicContextualFeatureMappingModel）和PDCG（HighLightGenerationModelofPatchDiscriminator）。

　　分层动态上下文特征映射模型HDCFM和patch判别器的亮点生成模型PDCG的模型结构图

　　模型DYCT结构

　　模型局部特征转换结构

　　本文提出的方法在测试视频序列中实现了38.42dB的平均PSNR。与之前的SOTA方法HDRTVNET（ICCV2021）相比，PSNR增益达到0.81dB。此外，论文使用了几个评价指标来衡量所提出的方法。颜色保真度、视觉差异和结构相似性。

　　论文方案与以往方法在SDRTV-to-HDRTV任务上的PSNR/SSIM增益指标对比

　　从以往SOTA方法HDRTVNET（ICCV2021）的主观效果对比图可以看出，本文提出的方案大大提高了主观质量，尤其是视频帧的色彩保真度。图5显示了亮点生成模型的结果。可以看出，本文提出的PDCG能够有效提升高亮区域的视频帧质量。

　　因此，本文大大提高了SDRTV转HDRTV分配的客观指标和主观效果。

　　论文方案与之前方法在SDRTV-to-HDRTV任务上的提升效果对比

　　论文中高光生成对比结果（高光补偿处理的HDR生成模型可以提高生成的HDR视频帧高光部分的主观质量）

　　据了解，何刚先生及其研究团队一直致力于基于深度学习的图像视频增强处理、编解码压缩等学术研究技术，迄今已发表相关论文及相关专利50余篇。同时，他的团队与工业应用紧密合作。2019年人工智能AI图像修复协同技术（去噪、去雾、去模糊、对比度增强）被CCTV13《朝日新闻》采访报道。国家深海探测工程解码及视频处理系统应用，2020年《陕西新闻》采访报道。

　　关于作者：

　　HienGang，副教授，现任西安电子科技大学通信工程学院图像传输与处理研究所（图像研究所）。图像研究所是ISN国家重点实验室成员单位，负责人为李云松教授。

　　毕业于西安交通大学，获学士学位，获博士学位。日本早稻田大学毕业，师从ToshiGoto教授（IEEELifeFellow）。研究方向为基于人工智能的未来高效视频编码、基于深度学习卷积网络的图像增强与对抗技术处理、视频编码算法与超大规模集成电路结构设计等，在AAAI等国际会议发表SCI论文50余篇、CVPR、T-CSVT等人工智能与计算机视觉顶级会议期刊。同时，多次与产业界合作，推动产学研结合，包括联合开发AI视频图像增强系统、联合开发4K编解码系统、联合开发高动态视频处理、等等此外，AI视频增强的发展在2019年被CCTV13《朝闻天下》采访报道，编解码项目在2021年被《陕西新闻》采访报道。

　　徐克鹏，研究生，西安电子科技大学通信工程学院图像传输与处理研究所（图像研究所）成员。图像研究所是ISN国家重点实验室成员单位，负责人为李云松教授。

　　毕业于西南科技大学，目前在西安电子科技大学攻读硕士学位。硕士期间，任何刚先生的顾问。研究方向为图像和视频压缩与增强。在ACMMM等国际顶级会议期刊发表多篇论文。

　　李旭，博士研究生，西安电子科技大学通信工程学院图像传输与处理研究所（图像研究所）成员。图像研究所是ISN国家重点实验室成员单位，负责人为李云松教授。毕业于重庆大学，目前在读博士。在西安电子科技大学。博士期间，导师为雷杰老师和何刚老师。研究方向为深度学习在图像和视频压缩增强领域的应用。目前在AAAI、ACMMM、T-CSVT等国际顶级会议期刊发表多篇论文，并担任T-CSVT、T-NNLS、T-MM等期刊审稿人。

　　（来源：西电新闻网）

　　责任编辑：