解密优酷智能生产技术,看AI赋能内容数字化

语言: CN / TW / HK

2021年,随着社会节奏的加快,用户碎片化消费时间不断增加,当前短视频的消费用户规模已超7.73亿人,短视频的市场规模超过2000亿元。短视频行业发展迅速,但也存在低质内容泛滥,精品内容稀缺的问题。在7月10日的Imagine阿里云视频云全景创新峰会上,阿里巴巴文娱资深算法专家李静,发表了《视频技术再创新,开启内容数字化浪潮》的主题演讲,从短视频领域的内容生产困境出发,分享MediaAI平台的技术能力及应用实践, 解密 优酷短视频智能生产的技术,以下为演讲内容整理。

Imagine

优酷如何开启内容数字化浪潮?

既然是优酷,就要从长视频、短视频以及最后分发呈现出来的所有的视频形态说起。优酷的数字化也会从视频的整个生命周期来分析。优酷作为一个长视频网站,从长视频最初的拍摄到制作再到完成,我们有 内容评估的数字化系统

当一个长视频拍摄出来之后,如何利用这种版权内容再进行二次的创作,这就是创作内容的的数字化;接下来 我们希望 生成一些短视频特效,让用户看起来更好看,更有趣,这是特效的数字化。

最后,在终端上用户拿着手机、平板或者通过电视大屏观看视频的时候如何体验内容数字化的好处?

所以,内容的数字化浪潮要从 整个视频的生命周期 来讲。

Imagine

创作要素解构

第一个是内容评估的数字化 。在阿里巴巴文娱有一个北斗星的团队,是专注于做长视频的内容评估,它的核心点是希望通过后验的数据去衡量整个视频内容的质量,视频内容或者视频的生产元素。

其中又包括一些外延的东西,例如导演、编剧、演员、剧本等,这些东西是大家平时能听到的,但距离自己又很遥远的东西,这些就是视频内容生产外延的内容。

外延之外还有内延信息 ,包括呈现出来视频本身它涵盖的 一些人物的信息、镜头的语言以及本身人物的性格等。 所有的这些信息都是基于我们NLP语言(Natural Language Processing)或者CV(Computer Vision)的能力进行解构。

所以当我们有了外延信息和对于内容的 解构 之后,我们希望可以通过这些 信息去预测用户的心理感受或者对内容的喜好度。

从数据侧获得的先验数据,其中包含了非常直观的收视率、用户的互动状态、评论数,我们希望通过这些数据可以进一步挖掘用户的心理状态、生理状态,以此推动我们核心能力来完成内容的评估。

内容的评估需要应用到AI的能力,一个是 AI评估 ,一个是 AI体检

什么是AI评估?

一个视频片段是否好,以前用人来审,需要花费大量的人力。如果用人工审核预测一部电视剧是否是爆款,会非常非常困难。所以在内容评估上我们利用北斗星的系统,从最开始演员、供应商、IP等级、导演和编剧的信息预估这部电视剧是什么样的水平。

并且,可以对电视剧里的的演员做进一步更深的分析,例如他的粉丝价值,整个口碑等。通过分析我们让平台进一步做辅助性决策,再利用我们的AI技术最终评估这部电视剧到底是什么档次。

第二个点是AI体检。

当视频片段拍完剪辑好之后,用算法来预测这些片段,哪些是看点,哪些是高潮点,哪些是剧情非常拖沓无聊的点,去寻找用户可能弃剧的风险点,给出一些建设性的意见,帮助剪辑师进行剪辑优化。这是优酷内容评估另外一个应用点。

在长视频之后,就是短视频了。

优酷的《山河令》和《司藤》在放送结束之后,我们如何进一步利用它做二次的短视频创作?

短视频最近几年来非常火,去年短视频消费用户达7亿多人,短视频工会和MCN数量超过两万家,市场规模超过两千亿,在如此庞大的短视频消费市场下我们面临了一些问题,高质量的短视频非常稀缺,大量的低质的、粗制滥造的短视频充斥在整个市场上。

所以,我们想利用自动化生产的方式代替掉那些质量低劣的短视频, 让我们的智能创作达到人创作的水平 ,这是优酷想要去做的。

所以阿里巴巴文娱研发出了 概念级的视频的解构能力 去赋能智能创作。这是什么呢?

当每次提到视频解构、CV能力,大家可能都会自然想到一些标签,对于一个视频场景,里面有人物、物体、运动等,在过去CV领域这些是特别客观的标签描述,但进行视频创作的时候,这些东西并不是创作者们非常需要的,创作者们需要的元素或者素材是能够让观众有深切感受的,所以我们 重新定义了语义级的标签,才能够赋能智能创作

Imagine

视频解构赋能短视频生产

有了基于概念级的标签解构能力之后我们可以进行一系列的编辑。

在短视频中使用浓缩的手段,把这个片段中平淡的剧情或者没有对话的情景切掉,将对话或者有信息含量的片段拼接在一起,最终形成完整的短视频片段。

在综艺的场景,将猫晚易烊千玺的片段进行重新剪辑,做成粉丝向的短视频,可以取得很好的效果。

以上所有的视频制作,都利用了我们过去这一年以来所沉淀下来的AI技术,所有的视频都是可以实现自动化的生产。

我们目前整个团队的智能生产技术的产能是一天万条以上,但由于每一条都要经过核审,稍微限制了一下产能。智能生产的质量在人工审核的整体通过率是90%,远远高于普通人的或者优酷的UP主自己创作的视频通过率。

Imagine

视频浓缩,多风格化剧集快看

现在大家碎片化的消费习惯,长视频的观看率越来愈低,所以我们针对这种情况有不同细度浓缩的手段。

如5分钟的短剧,3分钟看一部电影等。 在优酷看剧时,每个剧前面有一个15秒的前情提要,这就是我们自动化生产出来的。

同时,因为我们具有 风格化的解构能力 ,所以可以提取不同风格的前情提要,对于女生做甜向的前情提要,对于男生来说可能更喜欢悲壮型的,这些提要都是可以抽取出来的。视频的浓缩就是我们把不同风格的关键剧情择出来,在短时间内让你了解到故事的主线。

另外一种短视频的类型也是现在非常火爆的,那就是 解说类的短视频

我们重新定义了所谓的Text to Video的技术,把视频进行解构化,生产视频剧本解说词,两者进行匹配,最后通过剧本生成解说类短视频。

这里的解说词是来自于人工编辑或者现有剧本,视频的解说tts能力是由达摩院提供。目前tts已经有10多种风格,有不同方言,不同的解说风格。

接下来,还有 图文转视频 ,每个热点新闻底下都有配图,我们可以使其直接生成视频,但生成的视频不是PPT,而是结合IP版权图片相对应的视频内容。

娱乐资讯类的视频也是一样,其中的图片可以直接溯源定位找到我们对应的视频版权内容。过于复杂的图片,视频生产才会直接使用图片。

Imagine

内容呈现:特效让视频更好看

视频的特效,我们会针对于动作、动作的幅度以及主角人物等进行自动化加特效,这里涉及到的CV技术包括:动作检测,动作幅度检测,范围检测,明星识别,BGM等。

琐碎的东西来加特效显示会非常乱,所以我们对于运动幅度还是有一定要求的,达到某个幅度我们再加特效,相对来说观看体验好很多,在CG侧我们有自己的大千 云端渲染系统 ,支持不同特效的制作。

综艺特效是目前制作综艺必不可少的环节,然而制作一个特效,非常费时,我们的目标是 让AI发现、标注和凸显综艺节目的精彩时刻,让AI制作快速化,批量化。

目前,我们基于CG技术已经研发出30余种特效类型,《这!就是街舞》就是我们特效技术一个小小的展示。

CBA有这么一个 子弹时刻 ,在子弹时刻上我们可以加投篮的热区图,告诉大家这个投篮命中度是多少,可以辅助大家得到更多的信息。

互动上的新玩法 ,就要讲到端上了,第一个 视频横转竖 。比如在地铁上非常拥挤的时候大家都是竖着看的,很少有横着看的,基于这样的需求我们也得做把横的视频转为竖的,这里的难点是确定主体,第二是稳定。

我们还有一个技术是 自由视角视频 ,这是国内也是业内第一个在C端上,用户可以体验自由视角的产品,在去年的《这!就是街舞》节目上我们已经应用了这个技术。

科技冬奥 冰雪VR

今年的《这!就是街舞》我们技术还会进一步升级,大家敬请期待。在前段冬奥测试赛上也进行了测试,我们希望用这个技术让用户多角度观看他们想看的体育内容。并且阿里巴巴文娱会不断创新视频技术,为大家带来不一样的视听体验,开启中国视频技术内容数字化浪潮。