大跃进！国产视频处理技术出圈：国外网友不敢相信

近日，蚂蚁科技研究院交互智能实验室打造的最新视频处理算法CoDeF在全球开源平台GitHub上火爆。发布一周内就冲上了GitHub 流行趋势榜Python 语言分类第一名。

据悉，CoDeF是一种用于完成视频风格迁移任务的实时、高细节、高保真视频处理技术。

实验表明，CoDeF技术可以毫不费力地将图像风格化算法升级为视频风格化算法，将图像关键点检测算法升级为视频关键点跟踪算法（甚至包括水、烟雾等非刚性物体的跟踪）。图像语义分割算法升级为视频对象跟踪算法，图像超分辨率算法升级为视频超分辨率算法，支持用户交互式视频内容编辑。

近年来，随着以图像生成、图像编辑等任务为代表的视觉内容生成领域的突破，视觉生成正在向视频方向发展。尤其是在实际应用场景中，人们对视频的实时性、流畅性、保真度提出了更高的要求。目前主流算法大多受限于生成视频的时序一致性较差，导致其生成效果无法直接应用于实际场景。

为了解决这个问题，理工学院的研究人员提出了一种新的解决方案————，将视频处理简化为图像处理。

具体来说，视频被表示为2D内容规范场（canonical content field）和3D时间变形场（temporal conversion field），其中内容规范场负责整合视频中包含的所有纹理信息，而时间变形场负责整合视频中包含的所有纹理信息。变形场负责对视频中的动态信息进行建模。换句话说，可以通过使用变形场对在内容规范位置编码的规范图像进行变形来恢复视频的每一帧。

基于这种表征技术，视频处理任务可以简化为图像处理任务。用户只需处理每个视频对应的静态规范图像，然后通过形变场的变换，图像处理结果就可以自然地沿时间维度传播。达到处理整个视频的目的，从而保证时序的高度一致性。

值得一提的是，研究人员尝试最小化规范图像与真实图像之间的域差距，使得现有的图像算法无需任何训练就可以应用于规范图像来完成视频处理。

该技术在GitHub 上发布并开源后，不仅在科技圈产生了广泛影响，还在Twitter 平台上“火了”。许多推特网友直呼“简直不敢相信！”、“这是一个巨大的飞跃！”，还有人表示，“只要给它一年的时间，就可以用于电影制作了。”

据悉，这项技术是由蚂蚁集团技术研究院交互智能实验室历时三个月完成的。该项目主要负责人为蚂蚁技术研究院交互智能实验室研究员沉宇军，主要研究方向为计算机视觉和深度学习。

该项目的另外三位主要作者分别是香港科技大学博士生欧阳浩、蚂蚁技术研究院王秋雨、浙江大学博士生肖雨曦。第一名和第三名参与者目前由蚂蚁集团类型的实习生进行研究。

蚂蚁技术研究院自2021年成立以来，一直致力于做有用、富有想象力的科学研究。面向数字化、智能化未来，瞄准世界科技前沿，推动关键核心技术突破。

其中，交互智能实验室主要围绕计算机视觉和自然语言处理方向的基础模型研究，开发通用人工智能算法架构，包括内容生成、多模态理解、数字化、人机交互等关键技术。