WWDC22 多媒體特性彙總

語言: CN / TW / HK
時間 2022-06-21 18:15:37

M2 晶片

  • M2 晶片採用增強的第二代 5 納米制程技術並封裝了超過 200 億個電晶體，相比 M1 多 25% ；

  • 支援 100GB/s 的統一記憶體頻寬，相比 M1 提升 50% ，最高支援 24GB 的 LPDD5 記憶體 ；

  • CPU 架構沿用 8 核心架構（4 個性能核心 + 4 個能效核心），相比 M1 效能提升 18% ；
  • GPU 支援 10 核心，相同功耗下整體圖形效能比 M1 提升 25% ，最大功耗水平下相比 M1 效能提升最高可達 35% ；
  • 搭載新一代神經網路引擎，每秒可以處理 15.8 萬億次操作，相比 M1 提升 40% ；
  • 搭載新一代媒體處理引擎，支援 8K H.264、HEVC 編解碼；配備 ProRes 視訊處理引擎；支援多路 4K 和 8K 視訊的解碼播放；

1.jpg

0417f957ad9f9a887da16f5556a185e.jpg

使用 final cut pro 編輯視訊時其效能表現比上一代搭載 M1 的 Macbook Air 提升 38 % 。

3.jpg

Macbook Pro 13 英寸

最新發布的 13 英寸 Macbook Pro 搭載最新的 M2 晶片，支援 720p 攝像頭採集。

效能方面，ProRes 視訊轉碼速度相比上一代提升 3 倍；使用 affinity photo 處理影象時，相比於上一代效能提升 39% 。

4.jpg

Baldur's Gate III 遊戲效能比上一代提升 39% 。

5.jpg

macOS

Continuity Camera

Continuity camera 特性支援以無線連線的方式將 iPhone 作為 Mac 裝置的視訊採集攝像頭，從而可在 Mac 上使用 iPhone 相機的特性如人像模式、背景虛化、多攝像頭採集、人像居中等；除了 Facetime，第三方軟體也可使用 continuity camera，如 zoom、teams、Webex。該特性也支援將 iPhone 作為 Mac 的音訊輸入裝置。

有了 continuity camera，今後 Mac 上外接採集將更加靈活易用，給 Mac 上音視訊多路採集提供了更多可能性。

6.jpg

ScreenCaptureKit

ScreenCaptureKit 是在 macOS 12.3 推出的 Mac 端螢幕採集框架，可進行高效能、精細化控制的螢幕採集。本期 WWDC 著重介紹了 ScreenCaptureKit 的功能特性：\

  • 支援可定製化的螢幕內容採集，支援全螢幕採集，支援新增或刪除螢幕內容中指定的一個或多個視窗，支援單個視窗內容的採集。
  • 支援同時採集應用的視訊和音訊。
  • 支援採集引數的設定，包括輸出解析度、採集區域、顏色格式、畫素格式、游標顯示、幀率、快取佇列大小，採集引數支援動態設定。
  • 採集幀快取在 GPU 中從而減少記憶體拷貝。
  • 基於硬體加速的採集、縮放、畫素和顏色格式轉換，有效降低螢幕採集 CPU 消耗，整體效能表現優異。
  • 在 OBS 上使用 CGWindowListCeateImage API 採集與使用 ScreenCaptureKit 採集做對比：相同場景下 CGWindowListCeateImage API 採集幀率為 7fps，而 ScreenCaptureKit 可達到 60fps；使用 ScreenCaptureKit 採集記憶體下降 15%，CPU 消耗下降 50%。

iOS

空間音訊

iOS 14 開始支援空間音訊技術，該技術通過定向音訊濾波以及對使用者雙耳接收到的聲音訊率進行細微的調整，在 AirPods Pro 的聽感上實現了對傳統環繞聲音響的模擬。這種模擬並不僅僅停留在實現環繞聲上，而是將使用者手中的 iOS 裝置模擬為空間當中固定位置的一套音箱裝置。

現在 iOS 16 中，可以利用手機的原深感攝像頭建立個性化的空間音訊檔案，從而實現更加準確而沉浸式的個性化聽覺體驗。

Metal 3

Metal 3 在上一版基礎上做了很多效能優化，引入了不少重要的新特性和 API，下面我們逐一介紹其主要特性。

新特性

  • MetalFX Upscaling

    GPU 渲染時先渲染較低解析度的幀，然後利用 MetalFX 框架執行抗鋸齒並上取樣到目標解析度，相比於直接渲染目標解析度的同樣場景的幀可節省整體渲染時長。MetalFX 提供兩種 upscale 方式：Temporal antialiased upscaling 和 Spatial upscaling。

7.jpg

  • Fast Resource Loading

為了減少 GPU 資源載入時間，Metal 3 新增了快速資源載入 API，它提供了從儲存裝置到 GPU 的更直接的路徑，最大限度地減少了資源載入的等待時間，這樣 GPU 就可以更高速的訪問紋理和緩衝區。

通常為了優化資源載入時長，先載入一個低質量的資源素材，直到高質量資源載入完畢。

8.jpg

Metal 3 新增的快速資源 API 提供更快更一致的效能表現，提升了資源載入速度，從而把更多時間留給高質量資源的繪製。

9.jpg

  • Offline Shader Compilation

shader 編譯往往需要在執行時完成，執行時編譯可能對效能產生影響，從而導致幀率下降、載入時間延長，影響使用者體驗；Metal 3 支援離線 shader 編譯，可以在專案構建時生成 shader 的二進位制檔案，這樣可以減少載入時間。

10.jpg

  • Mesh Shaders

    渲染管線中用新的 object 和 mesh shaders 取代原先的 vertex shaders，從而支援更加靈活的遮擋剔除和 LOD 選擇。

  • 光線追蹤優化

    Metal 3 優化了光線追蹤，顯著節省 CPU 和 GPU 耗時：

    1. 提升了 acceleration structure 構建速度

    2. 將一部分運算從 CPU 移到 GPU 從而減少了 CPU 開銷

    3. 通過直接訪問圖元資料優化相交和著色運算

11.jpg

  • 機器學習硬體加速

Metal 3 做了大量優化支援機器學習的硬體加速

12.jpg

支援的機型

13.jpg

HLS

HLS Content Steering

HLS Content Steering 是蘋果公司為了提高全球性流媒體服務的可用性而提出的 HLS 內容轉向（Content Steering）機制。藉助 HLS 內容轉向機制，內容提供商可以通過部署內容轉向伺服器與所有的 HLS 客戶端建立側通道。在使用流媒體服務期間，客戶端會向內容轉向伺服器定期發出 Steering Manifest 請求，轉向伺服器將會針對當前的客戶端的情況，向客戶端傳送一個轉向清單即 CDN 服務的優先順序，以此將最新的 CDN 策略應用到客戶端上。\

如今，HLS Content Steering 支援路徑克隆功能。

  • 該功能相容 Content Stering 1.2。
  • 通過該功能可在已有的 CDN 列表中新增新的 CDN 路徑。
  • 配置檔案中新增新的 CDN 路徑時無需填寫完整 URI，只需填寫伺服器和引數欄位支援靈活的 URI 替換規則。

HLS Interstitials

HLS interstitials 是蘋果於 2021 年推出的旨在讓廣告內容的部署更加便捷的 HLS 規範，無論是在伺服器端還是客戶端，它不再需要依賴 SSAI 中的特殊標籤。

本期 HLS interstitials 新增如下特性：

  • 支援 CUE 屬性配置，該屬性可配置視訊內容前廣告、視訊內容後廣告、一次性中插廣告。

  • 支援 X-SNAP 屬性，該屬性可用來校準直播場景下廣告插入時的時間偏移。

  • 新增請求引數：

    • HLS_start_offset：獲取廣告已播時長。

    • HLS_primary_id：標識播放片段和廣告以避免重複播放相同廣告。

  • AVFoundation API 提供 AVPlayerInterstitialController 和 AVPlayerInterstitialEvent，用來支援客戶端中插廣告播放。

AVQT

2021 年蘋果推出了高階視訊質量工具 (AVQT) ，利用 AVFoundation 框架，AVQT 支援 SDR 和 HDR 域中的各種視訊格式、編解碼器、解析度和幀速率，從而實現簡單高效的工作流程——例如，無需解碼為原始畫素格式等。AVQT 使用 Metal ，將繁重的畫素級計算下沉到 GPU 來實現高處理速度，通常用於分析超過實時視訊幀速率的視訊。憑藉優秀的易用性和計算效率，AVQT 可以實現從視訊目錄中刪除低質量視訊，以免它們以其他方式影響應用程式中的使用者。

今年 AVQT 帶來如下更新：

  • 支援生成基於 HTML 的視覺化報告，可方便地標記問題，分享報告。
  • 支援分析起止時間內視訊片段的視訊質量
  • 擴充套件了對 YUV 格式的支援種類，可支援 20 種格式，包括 444、422、420、411、410，也支援 8-bit、10-bit、12-bit、16-bit 格式；支援對未經壓縮的原生視訊的分析；支援對蘋果生態系統以外壓縮解碼的視訊的分析。
  • 支援 Linux 系統，從而可支援伺服器端部署。

DriverKit

DriiverKit 是一套用於開發裝置驅動的框架。當前支援以下這些模組的驅動開發：Networking、Block Storage、Serial、Audio、USB、PCI、HID、SCSI Controllers、SCSI Periphersals。

這次 DriverKit 帶來的更新主要包括：

  • AudioDriverKit 支援註冊實時回撥；可在每次發生 IO 操作時獲取回撥；回撥可用於實時處理執行緒如訊號處理等。
  • 啟用新的許可權設定引數。
  • DriverKit 支援 iPad，USBDriverKit、PCIDriverKit 和 AudioDriverKit 可用於 iPadOS 16，搭載 M1 晶片的 iPad 可用。

EDR

EDR（Extended Dynamic Range）是蘋果推出的一種渲染技術，能夠支援裝置在螢幕上同時正確顯示 SDR 和 HDR 內容，EDR 並不會直接將 HDR 區域變得更亮，而是識別到 HDR 內容後提高整體螢幕亮度的同時，降低非 HDR 區域的白點值，使得其看起來沒有那麼亮。

本次 WWDC，蘋果再次通過幾個主題演講介紹了 EDR 原理；如何使用 CoreImage 庫顯示 EDR 視訊影象；如何使用 AVFoundation 庫解碼 HDR 視訊並使其支援 EDR 顯示播放。

介紹了 EDR API 如下新增特性：

  • iOS 和 iPadOS 支援 EDR API。
  • 12.9 英寸 iPad Pro 新增兩個新特性：Reference 模式和 Sidecar 模式下支援 EDR 渲染（Sidecar 是蘋果的一項技術，支援將 iPad 作為 Mac 的擴充套件屏）。

總結

網易雲信音視訊通話2.0 SDK 已經支援 4K & 8K 超高解析度並且在特定會議系統上使用，最新發布的 Macbook Air 和 Macbook Pro 13 如果配合使用 4K & 8K 的攝像頭或者其他高清視訊源，可以獲得超高解析度的絕佳體驗。

網易雲信音視訊通話2.0 SDK 支援基於 GPU 的視訊前處理框架，能最大限度發揮 GPU 運算能力並節省 CPU 消耗，以優異的效能表現帶來卓越的視訊前處理能力；今後 Metal 3 新特性將進一步發揮網易雲信音視訊通話2.0 SDK 的效能優勢。

網易雲信音視訊通話 2.0 SDK PC 和 Mac 端現已支援視訊雙攝採集，充分滿足使用者在不同場景下的視訊需求；Continuity Camera 的擴充套件性和靈活性將給網易雲信音視訊通話2.0 SDK 雙攝功能在 Mac 端帶來更多的應用場景和發揮空間。

網易雲信音視訊通話2.0 SDK 現已支援高效能的螢幕採集，支援僅採集需要的視窗和內容。ScreenCaptureKit為Mac 端新系統的螢幕採集帶來更多可選的技術方案。

總體而言，本次 WWDC 在音視訊多媒體方向的新特性給開發者帶來更多想象空間，未來網易雲信音視訊通話2.0 SDK 在這些新特性的加持下也將如虎添翼。

「」