迈入8K时代,AI驱动超高清“视”界到来

语言: CN / TW / HK

2021年,超高清迈入“8K”时代。超高清视频将带来全新视听体验,但超高清生产在内容生产层面也面临着超高清存量少、生产设备更新换代慢、制作周期成倍增加的困境。在7月10日的Imagine阿里云视频云全景创新峰会上,达摩云资深算法专家谢宣松,发表了《AI技术驱动超高清“视”界》的主题演讲,从超高清产业的生产现状与困境出发,深度剖析AI技术如何驱动视听升级,并分享了达摩院在超高清生产领域的实践经验,以下为演讲内容整理。

Imagine

超高清产业发展现状

视觉是一个生理学词汇。通过视觉,人和动物感知外界物体的大小、明暗、颜色、动静,获得对机体生存具有重要意义的各种信息。从物理现象角度来看,也就是视网膜对光的各种感应,包括光的亮度、细节描述,还包括跟时间相关的这些信息。而 对视觉冲击力最大的就是视频

AI在视频方面能发挥什么作用?

AI在视频发挥的作用主要分成两部分,第一部分是最基础的,AI对视频或者图像的理解,体现在我们视频中常见的 分类、打标、检测、分割 等。AI是与人相关的,因为人肯定一上来先理解世界,所以AI要发挥它的作用,第一步就是理解学习。

第二部分和生产类相关,比如 生产、编辑、加工、擦除、插入 等,其中AI在底层视觉就是发挥它的增强作用。那么AI是如何在底层视觉上发挥它的作用的呢?

视觉是人类最重要的感觉,所以视频的体验的问题是重中之重。体验会和很多东西相关,人类也在不断追求着体验,第一是 清晰度的追求 ,从4K到8K,信息包含量越来越多,细节的丰富程度也越来越高。 2021年4k超高清视频已经普及,并迈入8K高清时代。

第二是 色彩 ,更生动的色彩,这也是影响人体验的一个非常重要的地方。 第三个则是更 沉浸式 的体验。

那AI可以发挥些什么作用呢?能不能在各行各业进行应用呢?

首先是超高清视频,2014年国家发布4K的战略,到现在已经过去了7年,4K开始朝着更高的8K方向发展。在这个过程当中内容永远是滞后的,基础设施反而是超前的,像4K电视,现在消费者仍然不会去购买一台最基本配置的4K电视,而信号的基础设施已经迈向了 8K、5G

去年春节进行了第一次8K直播,东京奥运会、北京冬奥会都会有8K直播,而且8K的直播会越来越多。

但8K直播有很多困难,因为视频是完整内容生产的过程。其实有很多环节,例如素材采集,素材采集现在已经消费级别化了,1080P、4K级别的素材采集,利用手机就可以满足。但怎么生产内容,拍一下视频是否就算是生产了?

其实它只是最基本最简单的生产,对内容生产来说分两块:第一块是存量的内容,从古老的黑白到后来有色画面但分辨率很低的内容。技术和人的体验的要求越来越高,所以之后的内容制作的周期和要求越来越高。

技术在 内容生产方面 可以发挥巨大的价值 ,因为技术无外乎两个东西,第一个 降本提效 ,这是最根本的。第二是 创新 ,能够快速快捷低成本创造新的机会。

所以技术在这块会发挥非常大作用,包括网络传输、终端是需要完善整个产业链的。而我今天所讲的只是其中的一个点,但这一点也需要非常多技术来补完。

Imagine

AI技术驱动视听升级

要提高视觉体验,最基本的是 增加可以观察到的细节, 而跟细节最相关的就是分辨率,但分辨率 需要终端设备支持,所以这是第一点,也是最重要的。

第二是 流畅丝滑的视觉体验, 目前大部分是显示器是60赫兹,但也有120赫兹、240赫兹、甚至360赫兹的显示器,赫兹代表着屏幕每秒的刷新率,也就是每秒钟屏幕出现图像画面的次数。屏幕支持的赫兹数越高,每秒显示的画面也就越多,视频观感也更流畅。

之前的带宽不足,不足以支持那么多的画面信号传输,而视频本身的帧数也达不到流畅的体验。

当然,技术可以弥补视频自身上的不足,来提高视频的视觉体验。

第一个是关注 细节 ,第二关注 流畅度 ,第三关注 色彩 。4K内容是有国家明确规范的,你要想称之为4K内容,你要先满足这些条件。

从这三个层次来看,技术上追求细节可能就会出现很多瑕疵,因为这里很多初试者,经常用 GAN系列技术 ,在生产过程当中会经常出现不可控因素,导致出现瑕疵。

实话说,我一直想把视觉生产定义成可控的视觉内容生产,既能够保证细节的还原,同时又能够保证瑕疵的控制,这需要很核心的技术,这是第一。

第二个,算法除了要控制超分辨率以外,另外 算法的源头是什么?是数据, 大家普遍觉得数据有两种,低分辨率和高分辨率,因为低画质和高画质是一对的。

这些数据怎么获取,有很多手段。主要的办法是用人工的方式、高成本的方式,获取这两种数据,能不能用技术的方式真正生产高仿真、高真实的数据对(data pair),这是未来很大的一个课题。

最后要使AI技术在实践当中使用,把效果和效率上平衡做好,这本身也是个问题。

第一个要解决的是数据规模。因为AI的数据规模是海量的,在这些场景大家感受到的比较差的画质,很多细节都已经损失掉了。很多模糊的东西,色彩不对的地方,AI是无法凭空绘制出这些数据的,所以能不能设计个方案,使AI用算法自动获取真实的数据,目前,这是非常难的一个课题。

在比较早的时候大家用简单的方式,要想追求更好一点,可能用一些数据核,使得清晰的画面变得不清晰,然后去制造一个数据对。当然可能做了核之后加一些东西,加一些噪声,那有了这些以后是不是就行了? 其实也不行,因为所有的视频要通过编码、解码,在传输过程中又会产生很多损失。

所以怎么模拟损失的那部分?设计一个好的算法,对编解码本身也是很好的,这一系列考虑下来,低质和高质的数据对可以做非常多事情,这里面牵扯到对噪声的分析、场景的分析, 不同场景关注点的不一样, 动漫画更关注边缘,运动场景比较高的关注运动的动作,还有复杂的场景可能会关注很多的细节。

所以在这些方面需要做非常多的数据分析和数据生产,也许平时大家就是做一个算法,让一堆人打标,画框就行了,所以在这个问题中,数据对的生成是个命题,怎么获取到真实的训练数据。当然这个数据除了真实以外还要有规模,达摩院在技术这一方面花费了很多的努力。

Imagine

超高清生产实践

接下来怎么增强?比如怎么增强人像,我们现在比较重要的方法就是加入 GAN系列技术 进去,达摩院开源了GPEN的高清算法。

在中国共产党建党100周年的各种视频新闻中,很多人像基于这个算法做了修复,在B站等各平台播放,起到了很好的PR作用,这些都是基于达摩院的算法去修复的。

这里面第一个加入了 GAN的先验网络 也加了生成式数据发生器。 基本分三大类,第一类针对内容的,当然针对特征层面的,还有针对GAN层面的Loss在里面,所以可以得到针对人像非常好的基础模型。 这是其中一种。

当然对真实的物理世界来说人虽然是最重要的,但文字、风景等各种细节,也需要算法来完善增强。

关于解决流畅度的问题,在很多时候,尤其在运动变化率非常大时经常会出现瑕疵,所以怎么在不同的尺度、出现不同的瑕疵时,检测并弥补修复,然后提升流畅度,这需要很多的工作来完善。

除了细节增强,数据的还原、生成,还有瑕疵的检测,差分的检测,颜色的调准,非常多算法可以发挥它的作用,这一系列组合起来视频才能够完成从低清到4K到8K的演进,这本身也是个系统工程。

所以从这三个维度也无所谓传统与不传统的方法,大家都是利用深度学习的方法增强分辨率,帧率、色彩还有细节,还有在不同场景下怎么完善算法更好。

有了这些算法,形成真正可用的产品和服务还有很长的路要走,这就是系统工程要做的事情。基本来说,从原创的素材,加上AI视觉生产、智能生产,画面增强,还有内容加工,得到内容之后怎么编辑、修改、生成封面、拆条,这里面都可以做很多的技术来发挥作用。

上图展现了人物照片 AI增强后的效果, 利用开源的GPEN高清算法实现面部增强,增强后的视觉效果很棒,但实际上还有很多难点在里面,如果这个照片源头非常差或者受到很严重的污损,要想做好的增强还是很困难的。

另外这是一个综合的东西,可能用到面部的增强,但也不能脱离环境生产,要和背景相结合。如果是很古老的照片,还要做色彩还原,包括黑白变成彩色等。

画质增强,当然对于视频来说更复杂,原始画面的比较暗,但加上色彩会更加生动,再加上超分以后细节更突出,这时车不是那么流畅,加一个差分使得汽车行驶画面更流畅。从色彩到细节再到流畅度再加上场景增强,形成了完整的视觉增强,这是属于 视频视觉处理技术。

达摩院视频综合增强 效果展示

最后AI驱动高清往前走, 智能是最基本的, 达摩院是做AI技术的,所以能不能自适应去做事情非常重要。自适应好像很简单,但事实上在不同的场景,AI技术并没有所谓的普适性的能力。

在有卡通时,有新闻人物时,有纪录片时,我们希望AI能够有适应的完整系统,用万能的模型去处理,而不是单一的模型,使AI自适应的针对不同场景采用最优质的算法。

最后自我评估这是很重要的有意思的话题,对于主观的视频增强技术好不好,如何去评判它,本身也是很困难的事情,达摩院也会在视频增强技术投入很多的时间去做,去完善。

当然还需要系统去承载它, 视频云就是这个基础设施平台,使得可以高效率规模化地做各种各样AI视频视觉增强的任务。

当然现在AI慢慢朝着两个维度走,第一个走向消费者,平民百姓,为大家服务。另外 深入到各行各业为 大家提供降本提效,以及创新各种各样的机会。AI技术将基于视频云,驱动未来的高清视界。