Top
首页 > 正文

4K修复重现经典,字节跳动的技术与情怀

发布时间:2021-11-15 10:06        来源:电子信息产业网        作者:宋婧

大闹天宫、斩妖除魔的齐天大圣孙悟空;手拿火尖枪、脚踏风火轮、身绕混天绫的小哪吒;眼睛瞪得像铜铃、耳朵竖得像天线,时刻保卫森林安全的黑猫警长;各显神通、风吹雨打都不怕的葫芦兄弟……总有那么一部经典动画是你逃不过的“回忆杀”。它们跨越时光长河,承载着中国传统艺术与人文精神,历久弥新。

然而,受到拍摄条件和胶片保存、使用过程中的损伤等因素影响,老片普遍存在不同程度的画质问题,比如清晰度低、流畅度低、色彩失真、有瑕疵等,犹如明珠蒙尘,令人惋惜。今天,伴随超高清产业的蓬勃发展,越来越多的互联网科技公司把目光投向了4K修复,探索着让“明珠”重现光芒的方法,字节跳动就是其中的一员。

近日,字节跳动旗下西瓜视频联合火山引擎宣布,将在未来一年内共同修复《舒克与贝塔》《西游记》等100部经典动画。截至目前,《哪吒传奇》《葫芦兄弟》《黑猫警长》等六部经典动画作品的4K修复版已在平台上线。

4K修复究竟难在哪儿?

“4K修复技术是采用一系列的音视频修复和增强技术,把标清或高清视频画质从物理分辨率、视频帧率、色深、色域、高动态范围等各个方面提升至超高清视频标准,同时把音频也升级为环绕声的一种技术。” AI修复视频技术专家李根介绍道。这听上去似乎不难,但背后隐藏着技术、成本、人才支持等诸多问题,要完成修复还要修复得好,其实难度非常高。

现阶段,影片修复主要包括物理修复、数字修复、艺术修复三大环节。物理修复主要是对老片进行接补、清洗,是最基础的环节。重头戏是数字修复,即将老片转化为数字化视频内容,再通过各种数字技术逐帧进行视频降噪、消除抖动刮痕、提高清晰度、协调音效、还原色彩、声画合成等各个方面的处理。艺术修复是“修旧如旧”的关键,既要恢复影像原貌,又不能把旧片修成新的,不仅要有技术支撑,还要有相当程度的艺术造诣。

中国电影资料馆修复师王峥表示,涉及夜戏、雨雾戏、特效戏等镜头的修复难度较高,需要更审慎地修复。不过更常见的问题是物理损伤,霉斑、油污、划痕、变形等困难经常让修复师欲哭无泪。多位修复师坦言,一部老片的修复难度、复杂度不亚于制作一部新片。尽管AI技术从一定程度上缓解了电影修复的难度,但现阶段仍有大量需要人工修复的地方,需要修复师一帧一帧地去处理。尤其是艺术修复,修复师需要在充分理解影片场景的基础上,协调声音、画面、色彩、光影变化等各方面因素,最大程度还原其艺术价值,甚至需要进行二次创作,对修复师要求极高。

然而,难题远远不止如此。从事8年修复工作的修复师甄珍指出,4K修复迟迟难以完全普及还有一个重要原因——成本。普通的2K修复(分辨率2048×1556),完全依靠人工,大概两个星期左右能完成一部影片,花费在30万元左右;而4K修复(分辨率4096×3112)工作量是2K修复的4倍,起码两三个月甚至半年之久,才能完成一部影片的修复,成本在200万元以上。

此外,专业人才短缺也是一道不容忽视的“门槛”。中国电影资料馆收集整理部、公共事业部主任林思玮认为:“尤其是缺乏做画面精致修复与艺术修复的核心人才”。“修复是很累的活,最主要是枯燥。”上海电影技术厂数字修复部门主管胡勍勍表示:“这行特别考验年轻人的耐心和毅力,没耐心真的做不下去。”

火山引擎的“出场秀”

受限于修复技术的难度,我国影片修复起步较晚,直到近几年越来越多社会力量参与其中,才开始逐渐进入公众视野。字节跳动此次以火山引擎为技术平台、以西瓜视频为播放平台切入4K修复市场,引发广泛关注。

火山引擎智能处理产品经理张婉莹介绍称,火山引擎的4K修复技术在功能上支持画质全链路方案,能够覆盖检测、评分、增强、自适应转码、分发播放、运营数据回收等视频处理全部环节;其AI云端处理能力的全面性也已经达到行业领先水平,目前已经集成了20余种AI云端处理能力,核心能力包括高清低码、超分辨率、智能插帧、HDR、精彩剪辑、视频DNA等。

以智能超分技术为例,老片普遍存在模糊、清晰度差、分辨率低的问题,需要通过智能超分提升其清晰度和分辨率。火山引擎会针对老片场景的模糊退化专门建模,以优化清晰度。还会对内容自适应处理,根据不同区域分片处理,保持原有画风。在修复《葫芦兄弟》的过程中,水墨画区域需要保持朦胧感,剪纸区域则需提升清晰度,火山引擎通过智能超分技术实现了预期效果。

与此同时,受益于抖音、西瓜视频等实战业务场景的打磨,火山引擎4K修复技术的性能指标也有不错表现。例如,智能高清低码使针对片源的压缩率可达20%至35%,能够帮助客户有效降低内容分发和存储的成本;SDR to HDR(指将“标准动态范围图像”转化“高动态范围图像”,让视频具备更高的色深、更广的动态范围和更强的色彩表现力)处于业界先进水平,在第一届全国人工智能大赛相关项目的参赛企业中综合排名最高;效果精度方面,可提供发丝级高精度处理,在MSU2020(国际权威奖项)评选中,火山引擎多媒体实验室在17个参赛项目中全部获得评分冠军,尤其对道具、特效、游戏、动画场景有深度技术沉淀。

此外,火山引擎的视频云内部服务数十条业务线,这为4K修复技术提供了丰富的业务场景实践经验,有助于在效果与成本上把握最佳平衡点。“由于我们的视频池存量足够大,算法模型相对成熟,将机器成本、人工成本等分摊下来,单个视频处理的成本就可以降到一个相对较低的水平,从而形成批量的、规模化生产能力。” 张婉莹表示。

火山引擎自从作为字节跳动面向B端企业用户的技术输出平台公开亮相以来,就备受业界瞩目。此次百部影片4K修复计划被视为火山引擎的一次“出场秀”,“秀”的不仅仅是其4K修复技术的水平,更是火山引擎在视频技术领域的综合实力。

有技术,也有情怀

近年来,一股经典影片复映潮在全球范围内兴起。戛纳、柏林、威尼斯等国际各大著名影展,纷纷增设旧片修复展映单元,国内上海国际电影节、北京国际电影节、长春电影节等也都设置了展映单元,鼓励经典老片的重现。

从修复作品的类型来看,市面上的4K修复影片大体包含两类,一类是具有里程碑意义的经典作品,如《开国大典》、《上甘岭》等;另一类是本身市场呼声高、具备商业价值的影片,如《美丽人生》《海上钢琴师》等。

从市场反馈情况来看,4K修复3D版《哈利·波特与魔法石》在中国内地重映,助推该片成为哈利·波特系列里第二部全球票房突破10亿美元的影片。《海上钢琴师》4K修复版上映8天,票房就突破了亿元大关。不难看出,不少观众愿意为情怀买单。这也给电影市场释放了一个信号——4K修复背后拥有一片蓝海市场。

据张婉莹透露,此次西瓜视频与火山引擎联合启动的4K经典修复计划,不仅受到用户欢迎,也已收到一些版权方修复经典老片的合作意向。“字节跳动此举,一方面是出于打磨技术的考量,为向企业用户提供更高水平的视频处理技术积累经验;另一方面,也是情怀的导向,这些具有时代印记的老动画是中国动画界的结晶,修复过后的二次传播也是一种对传统文化的传承。”业内人士评论称。作为一家年轻的互联网科技公司,字节跳动有的不止是技术,还有情怀与温度。

专题访谈

合作站点
stat