2023年8月1日
By 1月时特约编辑
专题文章

VVC的采用和实施状况

编解码器的采用就像整个城市正在缓慢发展的发展. 似乎要花很长时间才能修好公路, 风暴排水, 并在污水处理系统和地段进行了分级. 开发商会建造一两个样板房来激发人们的兴趣, 但至少在前几套房屋完工之前，没有人会购买. 爱冒险的先行者会迈出第一步, 产生更多的看客，他们变成买家，产生更多的移动货车和被践踏的院子. 几个月或几年后, all of the homes are completed 和 occupied; trees, 灌木, 和 flower gardens are growing; 和 the development becomes a mature neighborhood.

我最近参加了一个在流媒体东部的VVC小组. 在哪里 VVC 在编解码器采用过程? 道路、雨水渠和污水处理系统都安装好了，甚至还有一两个样房. 如果你读懂茶叶, 你知道VVC有位置, 位置, 位置, 所以它一定会成功. 但不幸的是，大多数房屋还需要数年时间才能准备入住.

好了，比喻到此结束，我保证. 在本文中, 我将向你们介绍小组的参与者, 简要总结他们会谈的关键细节, 并分享他们演讲的下载链接. 请跟着我看完这篇冗长的文章, 这样你就能更好地理解VVC在哪里，什么时候会崭露头角. 最后，我将分享一些关于这对AV1编解码器意味着什么.

适合TL和DR类型, 如果你是一家在VVC专利列表中排名不高的视频出版商，我会这么说, 在2026年或更晚之前，你可能不会考虑VVC. 如果你想增加H.在此之前，264使用更有效的编解码器进行编码, 你最可能的选择是HEVC和AV1, LCEVC也是一种选择. 然而, 如果你是流媒体生态系统中的产品或服务提供商, 早该开始考虑VVC何时何地适合你和你的目标客户了.

让我们来见见小组成员，大致了解一下他们的演讲.

VVC性能和标准化工作

第一位演讲者是Alan Stein, google的技术副总裁指状组合型这是一家专注于无线和视频技术的研发机构. (在这里下载他的演讲.Stein首先概述了VVC的架构和新的编码工具, 使质量比HEVC提高了40%, 只有1.解码复杂度是HEVC的6倍. 你会看到, 这转化为几个早期的VVC部署和移动设备上高效的纯软件播放.

然后斯坦转移到部署状态，部分显示在图1. 图中的部署在很大程度上与应用标准有关，这些标准将促进和加速VVC在未来设备中的采用. 例如, 包含在DVB工具箱中意味着编解码器可以在遵守DVB标准的地区或国家部署, 这自然会加速VVC的部署. 纳入ATSC标准意味着在某个时候，在ATSC 3之后.0标准成为强制性，电视在美国销售.S. 加拿大将越来越有可能支持VVC，再次加速其部署.

应用标准中VVC的采用

图1. VVC在应用标准中的应用(摘自Alan Stein)

其他标准简化了潜在发布者和生态系统提供商实现VVC的过程. 例如, CTA WAVE内容规范用于开发编码和播放器开发人员与计算机的兼容性测试, 移动, 以及客厅设备制造商. 这有助于确保当编码器产生VVC流时, 它可以在所有可用的播放器上播放, 简化内容发布者的部署.

All of this is the plumbing that I referred to; as VVC is incorporated into more 标准, 这意味着未来会有更多兼容的设备和更快的部署. 从测试和兼容性的角度来看，部署VVC就越简单, 推出的速度越快，利润越高. 这些都是伟大的预兆，但仅此而已.

VVC版税结构

下一位发言者是罗伯特.L. 摩尔, Volpe Koenig的专利律师, 谁讨论了两个vc相关的专利池, 不属于一个专利池的主要专利所有者, 版税结构, 什么东西要交版税, 什么不是(看图2). 摩尔说，与HEVC一样，大部分的版税将由设备制造商支付. 由于它与内容有关，Via LA池由 MPEG LA和Via Licensing的合并，不对内容收费. 而Access Advance池对vc编码的内容收费, 它只针对物理媒体上的内容, 比如磁盘或u盘, 这是相同的模式Access Advance使用HEVC. 如果你在流式传输vvc编码的视频，就不收费，即使是按次付费或订阅.

图2. 两个VVC池及其各自的版税结构(来自Robert J.L. 摩尔)

摩尔还描述了Access Advance协议池的不同定价层，并指出Access Advance协议池的授权商如果同时授权VVC，只需要为同时使用两种编解码器的设备多支付25%的费用. 除了, 摩尔指出，像高通(Qualcomm)这样的大型VVC知识产权所有者并不在这两个阵营中，而是与设备制造商进行双边授权. 这个模式, 其中最大的知识产权所有者直接授权, 而较小的知识产权所有者加入池, 在大多数技术标准中是通用的.

摩尔最后谈到了MPEG LA和Via Licensing的合并, 并指出合并后Via LA的所有权与Access Advance非常相似. 报道, 他说，有人猜测Via LA可能会解散其VVC池，使市场向Access Advance拥有的单一VVC专利池迈进.

VVC播放状态

下一个, 我谈到了三个主要市场对VVC播放的支持:电脑, 移动, 还有客厅.ly / VVC_Playback). 以我的邻居为例, 我应该最后说的, 因为播放支持代表了发行商进入的最终归宿. 不支持播放, 世界上所有的管道都无法说服发行商部署新的编解码器.

在这方面，消息就不那么乐观了，尽管这并不令人意外. 具体地说, the VVC spec was finalized in July 2020; about 3 years later, 目前还没有公布的计算机或移动cpu, gpu, 或带有VVC播放或编码的soc. 考虑到芯片和相关设备的开发周期, 这意味着我们可能要到2024年中后期才会看到第一台带有VVC的电脑或移动设备，而硬件播放的潜在市场也要到2-3年后才会出现.

为视角, AV1于2018年4月宣布, 2023年1月, 不到5年之后, a ScientiaMobile研究报告称，移动硬件对AV1的支持仍低于3%. 不幸的是, 硬件支持需要很长时间才能达到临界质量, 和, 如果有什么区别的话, VVC似乎落后于AV1.

尽管缺乏硬件支持, 几家软件公司, 包括葵, ByteDance, 腾讯, 和MX Player, 似乎是将VVC传送到移动设备上，仅供cpu播放. 图3 显示了葵和字节跳动在2022年1月发布的令人印象深刻的播放统计数据. 请注意, 两家公司都拥有对VVC有贡献的重要专利因此，他们有动力加速其部署.

图3. 令人印象深刻的播放统计数据从两个VVC利益相关者，葵和字节跳动移动设备

除了, 值得注意的是，据报道，来自印度的MX Player和MX TakaTak提供的VVC流高达其安装基础的20%. 这两家公司都没有被列为重要的知识产权所有者, 因此，部署VVC的动机可能只是为了节省带宽. 不管是什么动机, 这些报告确实证实了指状组合型的Stein关于VVC播放效率相对较高的说法.

幸运的是, 客厅里的集成电路图要亮得多, 哪里有多个现有的硬件解码器从联发科, 瑞昱, 和VeriSilicon, 和, 事实上, 2023年将推出几款带有VVC解码功能的电视汤米·弗拉纳根的精彩文章). HEVC也是如此, 在成为电脑和手机播放的目标之前，我们可能会看到VVC被广泛部署到客厅.

关于客厅的另一点是，当你的服务安装了控制播放的机顶盒时，部署一个新的编解码器要容易得多. So, 在我们看到IPTV VVC用于移动设备和计算机的通用部署之前，我们很可能会看到一些绿地IPTV VVC部署. 这些可能看起来很像本文后面描述的一些Ateme的VVC试验.

用于VOD的VVC编码和封装

这就引出了下一位演讲者，Igor Oreper，首席架构师 Bitmovin他负责视频点播的编码和包装. )他的演讲有点不连贯.ly / VVC_File_Package.) Oreper首先确定了最近发布的和/或可用的一些VVC编码器. 他提到了两个开源版本, 弗劳恩霍夫和JVET标准VVC开发团队各一个, 和MainConcept的商用编码器, ByteDance, 腾讯, 阿里巴巴, Ateme, 和Bitmovin.

Oreper表示，Bitmovin的云实现基于弗劳恩霍夫编码器，我在2021年审查过. 他分享了下面的图表图4，比较VVC(红色)、AV1(蓝色)和HEVC(灰色虚线)的质量。. HM和VTM编码器是标准开发团队制作的参考编解码器. 它们在最高质量设置下实现所有可用的工具，以表示该编解码器可用的最高质量.

图4. VVC的VOD编码选项(from Igor Oreper)

从图4的图例中可以看到，较低表示质量更好，而左边表示速度更快. 从图表中可以看出，两个版本的VVC都比AV1略快，质量也更高，比x265慢，但质量要高得多. VVenC编码器令人印象深刻地接近VTM参考编码器所代表的最高质量, 具有更快的编码时间. 为了达到这些结果, Oreper报告说，VVC的计算需求是AVC的8倍, 比HEVC多4倍, 是AV1的2倍, 这预示着云服务的定价将会如何，以及内部生产VVC的成本会有多高.

他最后指出，包装分发的VVC将非常类似于AVC和HEVC, 具有ISO-BMFF(又名MP4)和MPEG-2 TS格式以及AAC和MPEG-H音频编解码器. DASH和HLS自适应比特率选项也应该相似, 对标题和字幕使用相同的格式，对加密和DRM使用相同的选项. 考虑到指状组合型的Stein提到的标准和测试状态, 以及这些包装方面的考虑, 一旦目标受众存在，部署VVC应该是一件轻而易举的事情.

实时VVC编码

下一位发言者是Jan Outters，技术和标准主管 Ateme该公司早在2020年就开始用VVC直播赛事. 他首先讨论了实现一个新的编解码器所涉及的内容. 如你所料, 当你有一个复杂的编码工具，如Ateme的TITAN编码器, 以前执行的大部分工作都是预处理, 分析, 并将速率控制应用到新的编解码器中. 有趣的是, 奥雷帕也有同样的感受, 当Bitmovin将弗劳恩霍夫VVenC编码器代码放入其云编码器时，他评论道, “这很有效。.“这表明，对于基于软件的编码器, 直播或视频点播, 实现VVC应该是直截了当的.

这是常有的事, VVC的直播结果与VOD编码产生的结果不太匹配, 其中一张幻灯片显示，与8K的HEVC相比，VVC的总体实际增益为20%.Outters随后回顾了atame帮助制作的各种VVC试验, including the first-ever VOD broadcast trial in June 2020; the first-ever live, low-latency trial in November 2020; 和 the more recent French Open trial in June 2022, 涉及高通公司, 法国电视, LG, 橙色, Enensys, 和Viaccess-Orca.

最近，阿特梅与巴西电视3台合作制作了2022年世界杯试播节目.0. 在这次广播中, atme将4K HDR VVC编码的视频与MPEG- h音频结合成15Mbps的流，以MPEG DASH格式分发，并在LG电视机上解码.

在他后来的一张幻灯片中, 外部显示了可能加速欧洲VVC部署的逆风和可能减缓其部署的顺风图5). 积极的一面, 他提到了DVB成员的强烈兴趣，以及VVC带来的效率“飞跃”. 随着HEVC效率的不断提高，HEVC和AVC解码器的主要安装基础是部署速度变慢. 他还指出，最近或计划中的几项部署涉及HEVC甚至AVC. 如前所述, 尽管VVC的实施似乎是不可避免的, 这并不意味着我们会在短期内看到很大的进展.

图5. 影响欧洲VVC部署的逆风和顺风(来自Jan Outters)

VVC和HDR

今天最后一个演讲的是帕特里克·格里菲斯, 技术副总裁, 标准, 以及杜比的行业参与, 谁讨论过VVC和HDR. (请看Patrick的演讲.Griffis首先回顾了HDR的起源, 通过深入的方法，包括我们的眼睛如何感知亮度和颜色. 最后得出的结论是图6, 根据对人类视觉系统的实际影响和以像素为单位的成本，对可用的质量“改进”的好处进行排名. 如你所见, 增加动态范围具有最大的影响，并且与最低的比特率成本有关, 随着色彩的增加，帧率的提高，效果也会有所改善, 但从数据速率的角度来看，效率要高得多. 简而言之, HDR的两个要素, 色彩体积和动态范围, 就显著的改进而言，提供最物有所值的效果, 这就是为什么HDR在VVC中如此重要.

图6. 根据数据速率成本和视觉影响对质量改进方法进行排名(来自Patrick Griffis)

后来的幻灯片中写道:“VVC从一开始设计时就考虑到了SDR和HDR. “HDR现在是一等公民.从本质上讲，这意味着HDR将从一开始就是VVC播放器的一个功能.

关键的外卖

以下是所有演讲的要点:

在VOD部署中，VVC的效率应比HEVC高40%以上，比AV1高10%-15%. 对于实际部署，这些数字会更低.
VVC部署的管道铺设得很好, 从实现的角度来看，哪个应该相对平滑.
在2026年或更晚之前，手机和电脑硬件播放市场可能还不足以吸引大多数发行商的注意.
软件VVC播放相对有效，可能是针对计算机或移动设备的出版商的一个选择. 从历史上看, 然而, only codec stakeholders like Meta have pursued this option; most independent publishers wait for hardware support.
客厅比手机/电脑和支持HDR的VVC早一到两年. 看起来VVC在客厅比在通用部署中更容易成功.

AV1怎么样??

人们很容易将编解码器世界视为零和游戏——如果VVC赢了，AV1就输了. 但这种情况很少发生. 开放媒体联盟会员拥有四大主要操作系统(Windows, Mac, iOS, 和Android)以及所有主流浏览器(Chrome, 边缘, Safari, Firefox). 他们在计算机和移动芯片方面规模巨大(英特尔), AMD, NVIDIA), 移动设备(苹果), 谷歌, 亚马逊, 三星), 客厅(三星), 苹果, 亚马逊, 谷歌, Roku, 微软, LG), 和内容(YouTube), 网飞公司, 亚马逊, 元). 尽管苹果缺乏对AV1的支持和大量与vc相关的专利，但这让人挠头, AV1不会很快消失.

VVC具有10%-15%的效率优势，并且包含在许多电视标准中，但AV2即将到来. 甚至在客厅里, VVC的利益相关者似乎比amedia的成员更强大, 尤其是在中国, 而VVC的HDR优势确实大放异彩, 图7 说明了为什么面向客厅销售的消费品制造商必须支持VP9，最终可能会支持AV1. 我们称之为YouTube效应.

图7. 为什么苹果支持VP9，最终会支持AV1

图中的表格显示了YouTube如何对 壮志凌云:特立独行 预告片的视频已经积累了超过3000万的点击量. 如图7所示，如果您上传4K视频，YouTube会将H大写.264以1080p编码，并以更高的分辨率编码VP9(所有超高清视频)或VP9和AV1(最流行的超高清视频). So, 如果你生产智能电视的话, 游戏平台, 机顶盒, 或其他OTT设备, 你必须支持VP9或AV1，这样你的买家才能看到汤姆克鲁斯著名的微笑在全分辨率. 这是最终迫使苹果支持VP9的筹码.

YouTube短期内不太可能放弃VP9编码, 但在某种程度上，也许在其第二代基于asic的Argos编码器与AV1上线之后，youtube可能会开始削减VP9编码, 也许在VP9中编码到2K，只有AV1在那之上. 因此，对AV1的支持很可能会继续扩大.

除了, 在客厅里，AV1比VVC有一个健康的开端, 尽管av1相关的HDR仍未得到证实. 整体, 展望未来, 除了一个基于标准的双编解码器世界之外，很难预测任何事情, 另一个来自amedia.