弱網下的極限實時視訊通訊

一、弱網下極限視訊通訊是什麼？

所謂的弱網路環境就是網路不是很好，比如無線 wifi、跨多層網路路由、或者網路負載過大等等情況，這樣資料在傳輸中會發生丟失的情況。

通常意義上，當我們出現網路有擁塞之後，之前會消耗比較長的時間在這個網路裡面，通過一個前向校驗碼 fec，或者是我們通過 arq ，目前還有無數的研究者在做這樣 hybrid arq 加上 fec 。但是從視訊訊號的角度來看的話，需要尋求另外一種方法。就是在你的網路時差的時候，比如說我們所說的入網環境在 50k 以下 5kbps 以下甚至更低，那在這個網路不能有效傳輸。

二、極限通訊的架構設計和優勢

優勢就是當我們把這些基於經驗性的模型推廣到類似的一個資料驅動，我們可以把我們的效能相當於是使用者的感知，以及視訊通訊的感知效能夠提升到提升百分之十二到百分之二十左右，其實從 AlphaGo 開始，在編碼和傳輸上就利用了基於強化學習的網路流控，以自適應偵測調節頻寬反饋的形式來優化視訊，在這其中基於 IP 的分組替換網路在視訊傳輸網路中佔據主導地位，使得端到端網路的吞吐量等狀態具備很高的時變性，並且在不同的使用者之間因為網路資源競爭使得這些網路狀態隨其動靜變得穩定。

聽完馬老師所講的端到端的傳輸流程和引入強化學習的方式，我覺得我們可以綜合思考視訊編碼與網路傳輸端到端流程，在接收端進行解碼播放後，使得其產生新的狀態，同時向智慧體反饋之後決策的處分。基於此處分訊號，智慧體以最大化累積處分為指標不斷更新神經網路引數。最終，其實可以僅通過觀察和學習編碼、網路和播放的原始狀態，對視訊編碼引數進行自適應調整，這種方式是一種全新的設計思路。

三、智慧視訊編碼

資料量大的視訊，利用壓縮式或者編碼肯定是有非常大的作用，所以真正的這個視訊編碼能夠讓這個資料降低，是因為摩爾定律。摩爾定律的勝利是因為摩爾定律來了。每十八個月，我們叫 silicon ，相當於效能的提升，才能讓我們很多在原來不能設計的演算法，不能用的一些高階演算法能用起來。

影象視訊編碼技術標準

從這個角度來看的話，那麼我們再往下思考它會有一些瓶頸。這個瓶頸來自於 2015 年，大家發現隨著我們工藝流程的越來越高階。比如說到了三納米、五納米，然後隨著這樣的一個到目前為止有相對論的說法。

甚至存在就是我們的這個光速的變形。那麼電子的速度最多也是得到光速。所以這個情況下到底能做多高？當然我們可以犧牲我們的功耗來實現，但是這樣的代價會有的。所以到 2015 的時候，一些世界頂級的科學家就提出，也許這就是一個轉折點在這裡，我們就需要有新的價格來控制。（大家不太懂的可以去聽下視訊內容）

舉例

四、網路自適應傳輸

在視訊會議中由於 RTP 通道不能為視音訊資料提供良好的 Qos 保障，導致視訊會議在實際應用中效果受到很大影響，作為一種方式，讓網路自己去學習，主要就提出了這樣的一個與強化學習結合的一些方法，然後在應該是在 2018 年左右，那個時候我們就主要是面對的一個實時通訊。所以相比較 vod 或者是 live stream 也好，我們會有一些更挑戰的，我們叫這個限制也好，或者是那個聲音也好，比如說我們沒有辦法有很大的這樣的一個 buffer。使用者端的延時一方面要考慮到使用者的網路狀況，另一方面也要考慮到使用者的硬體系統能否支援，一些老舊的機型在進行解碼處理時，由於 CPU 被大量佔用，很容易發熱發燙，導致手機卡頓。

在網路傳輸中的延時就是在這些過程中慢慢積攢的，美顏需要合成處理的時間、傳輸需要一定的時間，音視訊壓縮合成需要一定的時間，視訊分發還需要一定的時間等等，在遇到網速和伺服器出現問題時，延遲可能會進一步增加。比如在網路直播系統開發中比較常見的“高併發”問題就比較好解釋了。（正常情況下，直播平臺可以很穩定流暢地為使用者提供服務，但一旦遭遇 618、明星直播等特殊情況，流量以平時的百倍、千倍甚至萬倍的規模進入，所謂的高併發問題就出現了）；如果在平臺的開發過程中，沒有考慮到併發量的問題，那麼就會造成伺服器的崩潰，導致觀看失敗，影響直播使用者的使用體驗。

總之，聽完馬老師的講解，感覺對極限通訊有了更深的瞭解，學到了許多國內外在音視訊傳輸方面的一些研究進展以及編碼等關鍵技術相關知識，也推薦大家有時間去看看視訊。