西电HDR视频生成算法技术成果被顶会ACMMM 2022录用

近日，西安电子科技大学通信工程学院何刚老师团队联合北京快手科技有限公司的最新利用深度学习算法针对传统SDR视频（标准动态范围视频）生成高质量HDR视频（高动态范围视频）（SDRTV-to-HDRTV）技术的研究成果“SDRTV-to-HDRTV via Hierarchical Dynamic Context Feature Mapping”被多媒体领域顶级会议ACM MM (ACM Multimedia) 2022收录。

该研究团队在国际上开创性地提出了基于动态特征变换的特征映射模型，该模型是第一个将颜色亮度信息转换建模为特征映射过程的方案，并提出了动态特征变换来实现高效的特征映射，从而更精准地恢复HDR视频的颜色亮度信息，大幅提升生成视频的主客观质量。目前市场上绝大部分视频资源仍是传统SDR格式，该研究成果可以重制SDR视频使之具有更丰富的细节、更宽广的色域和更自然的色彩过渡，同时推动HDR相关技术的发展演进。

相比于传统SDR视频，HDR视频具有亮度范围更大，色域更广的优势，因此能够更加逼真地还原真实场景。目前能够播放HDR视频的多种显示终端已经大量走向消费市场（如iPhone8以上，及大量安卓机型），但目前市场上绝大部分视频资源仍是传统SDR格式，HDR视频资源非常稀缺，因此将已经存在的SDR格式的视频生成HDR视频，进而能够极大地提升用户的视频观看体验，是视频领域急需解决的痛点。

HDR视频对真实环境还原度更高、更逼真（左侧为SDR视频，右侧为HDR视频）

结合深度学习技术，何刚老师团队针对SDR视频转HDR视频（SDRTV-to-HDRTV）任务，研发相应的逆色调映射转换算法取得了显著成果。先前算法思路主要使用全局特征调制来模拟逆色调映射的过程。全局特征调制对提取到的图像特征进行特征缩放与平移，从而将SDR视频帧的特征转换为HDR视频帧的特征。考虑到全局特征调制仅仅在原有的特征空间下对特征进行缩放平移，无法将处于SDR特征空间下的视频特征转换到HDR对应的特征空间下。

为此，该论文以特征映射来建模SDRTV-to-HDRTV的任务，并提出了动态特征变换模块，特征变换能够更好的将原有的SDR特征转换为HDR特征。此外提出了分层特征调制模块，能够对视频帧进行局部自适应处理，从而能够同时完成对视频帧的暗部增强与亮部抑制。最后提出了一个基于补丁判别器的生成对抗网络模型完成HDR视频帧的高光生成。该论文的框架最终由HDCFM（分层动态上下文特征映射模型）与PDCG（补丁判别器的高光生成模型）两个模型构成。

分层动态上下文特征映射模型HDCFM和补丁判别器的高光生成模型PDCG的模型结构图

模型DYCT结构

模型局部特征转换结构

该论文提出的方法在测试视频序列地平均PSNR达到了38.42dB，相比前SOTA方法HDRTVNET（ICCV 2021）而言，PSNR增益达到了0.81dB，此外该论文采用了多个评估指标测量了提出方法的色彩保真度、视觉差异和结构相似性。

论文方案与先前方法在SDRTV-to-HDRTV任务上的PSNR/SSIM增益指标比较

从与之前SOTA方法HDRTVNET（ICCV 2021）的主观效果对比图中，可以看出该论文提出的方案在主观质量上获得大幅提升，特别是视频帧的颜色保真度。图5为高光生成模型结果图，可以看到该论文提出的PDCG能够有效增强高光区域的视频帧质量。因此，本论文在SDRTV-to-HDRTV任务中的客观指标和主观效果上都获得了极大提升。

论文方案与先前方法在SDRTV-to-HDRTV任务上的增强效果对比图

论文高光生成对比结果图（提出的高光补偿处理的HDR生成模型能够对生成的HDR视频帧高光部分进行主观质量增强）

据了解，何刚老师及其科研团队一直致力于基于深度学习的图像视频增强处理及编解码压缩等学术研究技术，至今已发表相关论文50多篇和相关专利。同时，其团队和工业界应用合作紧密，在2019年合作完成的人工智能AI图像修复合作技术（去噪、去雾、去模糊、对比度增强）获得CCTV13《朝日新闻》采访报道，其承担超高清编解码和视频处理系统应用国家海深探测项目获2020年《陕西新闻》采访报道。

作者简介：

何刚，副教授，现工作于西安电子科技大学通信工程学院图像传输与处理研究所（图像所）。图像所是ISN国家重点实验室成员单位，负责人是李云松教授。本科毕业于西安交通大学，博士毕业于日本早稻田大学，师从后藤敏教授（IEEE Life Fellow），研究方向是基于人工智能的未来高效视频编码，基于深度学习卷积网络和对抗技术的图像增强处理，视频编码算法及VLSI结构设计等研究，发表包括AAAI、CVPR、T-CSVT等顶级人工智能及计算机视觉领域会议期刊在内的SCI论文及国际会议50余篇。同时与工业界多次合作促进产学研结合，包括联合开发AI视频图像增强系统，联合开发4K编解码系统，联合开发高动态视频处理等。此外，曾开发AI视频增强2019年被CCTV13《朝闻天下》采访报道，于2021年参与编解码项目受《陕西新闻》采访报道等。

徐克鹏，硕士研究生，西安电子科技大学通信工程学院图像传输与处理研究所（图像所）成员。图像所是ISN国家重点实验室成员单位，负责人为李云松教授。本科毕业于西南科技大学，目前在西安电子科技大学攻读硕士学位，硕士期间的指导老师为何刚老师，研究方向为图像视频压缩与增强，目前已在ACMMM等国际顶级会议期刊发表多篇论文。

徐莉，博士研究生，西安电子科技大学通信工程学院图像传输与处理研究所（图像所）成员。图像所是ISN国家重点实验室成员单位，负责人为李云松教授。本科毕业于重庆大学，目前在西安电子科技大学攻读博士学位，博士期间的指导老师为雷杰老师和何刚老师，研究方向为深度学习在图像视频压缩与增强领域上的应用。目前已在AAAI、ACMMM、T-CSVT等国际顶级会议期刊发表多篇论文，同时担任T-CSVT、T-NNLS、T-MM等期刊审稿人。

会议链接：https://2022.acmmm.org/

论文链接：https://arxiv.org/abs/2207.00319