WebRTC技術專題（3）【更進一步，核心組件RTP/RTCP數據傳輸協議】

前言介紹

RTP/RTCP協議是流媒體通信的基石。

• RTP協議定義流媒體數據在互聯網上傳輸的數據包格式
• RTCP協議則負責可靠傳輸、流量控制和擁塞控制等服務質量保證。

在WebRTC項目中，RTP/RTCP模塊作為傳輸模塊的一部分

• 發送端採集到的媒體數據進行進行封包，然後交給上層網絡模塊發送；

• 接收端RTP/RTCP模塊收到上層模塊的數據包後，進行解包操作，最後把負載發送到解碼模塊。

因此，RTP/RTCP 模塊在WebRTC通信中發揮非常重要的作用。

RTP/RTCP協議概述

RTP協議是Internet上針對流媒體傳輸的基礎協議，該協議詳細説明在互聯網上傳輸音視頻的標準數據包格式。

• RTP協議本身只保證實時數據的傳輸，RTCP協議則負責流媒體的傳輸質量保證，提供流量控制和擁塞控制等服務。

• RTP會話期間，各參與者週期性彼此發送RTCP報文。報文中包含各參與者數據發送和接收等統計信息，參與者可以據此動態控制流媒體傳輸質量。

RFC3550 定義RTP/RTCP協議的基本內容，包括報文格式、傳輸規則等。除此之外，IETF還定義一系列擴展協議，包括RTP協議基於檔次的擴展，和RTCP協議基於報文類型的擴展，等等。

WebRTC的數據處理和傳輸過程

WebRTC對外提供兩個線程：Signal和Worker，前者負責信令數據的處理和傳輸，後者負責媒體數據的處理和傳輸。

WebRTC線程關係和數據Pipline

1. Capture線程從攝像頭採集原始數據，得到VideoFrame；

2. Capture線程是系統相關的，在Linux系統上可能是調用V4L2接口的線程，而在Mac系統上可能是調用AVFoundation框架的接口。

3. 接下來原始數據VideoFrame從Capture線程到達Worker線程，Worker線程起搬運工的作用，沒有對數據做特別處理，而是轉發到Encoder線程。

4. Encoder線程調用具體的編碼器(如VP8, H264)對原始數據VideoFrame進行編碼，編碼後的輸出進一步進行RTP封包形成RTP數據包。

5. 然後RTP數據包發送到Pacer線程進行平滑發送，Pacer線程會把RTP數據包推送到Network線程。最終Network線程調用傳輸層系統函數把數據發送到網絡。

6. 在接收端，Network線程從網絡接收字節流，接着Worker線程反序列化為RTP數據包，並在VCM模塊進行組幀操作。

7. Decoder線程對組幀完成的數據幀進行解碼操作，解碼後的原始數據VideoFrame會推送到IncomingVideoStream線程，該線程把VideoStream投放到render進行渲染顯示。至此，一幀視頻數據完成從採集到顯示的完整過程。

在上述過程中，RTP數據包產生在發送端編碼完成後，其編碼輸出被封裝為RTP報文，然後經序列化發送到網絡。

• 在接收端由網絡線程收到網絡數據包後，經過反序列化還原成RTP報文，然後經過解包得到媒體數據負載，供解碼器進行解碼。

• RTP報文在發送和接收過程中，會執行一系列統計操作，統計結果作為數據源供構造RTCP報文之用。

RTP報文構造、發送/接收統計和RTCP報文構造、解析反饋，是接下來分析的重點。

RTP報文發送和接收

RTP報文的構造和發送發生在編碼器編碼之後、網絡層發送數據包之前，而接收和解包發生在網絡層接收數據之後、解碼器編碼之前。本節詳細分析這兩部分的內容。

RTP報文構造和發送

發送端編碼之後RTP報文的構造和發送過程，涉及三個線程：Encoder、Pacer和Network，分別負責編碼和構造RTP報文，平滑發送和傳輸層發送。下面詳細描述這三個線程的協同工作過程。

RTP報文構造和發送

開源實時音視頻技術WebRTC中RTP/RTCP數據傳輸協議的應用

• Encode線程調用編碼器(比如VP8)對採集到的Raw VideoFrame進行編碼，編碼完成以後，其輸出EncodedImage通過回調到達VideoSendStream::Encoded()函數，進而通過PayloadRouter路由到ModuleRtpRtcpImpl::SendOutgoingData()。

• 該函數向下調用RtpSender::SendOutgoingData()，進而調用RtpSenderVideo::SendVideo()。

  • 該函數對EncodedImage進行打包，然後填充RTP頭部構造RTP報文；如果配置了FEC，則進一步封裝為FEC報文。最後返回RtpSender::SendToNetwork()進行下一步發送。

• RtpSender::SendToNetwork()函數把報文存儲到RTPPacketHistory結構中進行緩存。

• 接下來如果開啟PacedSending，則構造Packet發送到PacedSender進行排隊，否則直接發送到網絡層。

Pacer線程週期性從隊列中獲取Packet，然後調用PacedSender::SendPacket()進行發送，

接下來經過ModuleRtpRtcpImpl到達RtpSender::TimeToSendPacket()。

該函數首先從RtpPacketHistory緩存中拿到Packet的負載，然後調用PrepareAndSendPacket()函數：更新RtpHeader的相關域，統計延遲和數據包，調用SendPacketToNetwork()把報文發送到傳輸模塊。

Network線程則調用傳輸層套接字執行數據發送操作。至此，發送端的RTP構造和發送流程完成。需要注意的是，在RtpSender中進行Rtp發送後，會統計RTP報文相關信息。這些信息作為RTCP構造SR/RR報文的數據來源，因此非常重要。

RTP報文接收和解析

在接收端，RTP報文的接收和解包操作主要在Worker線程中執行，RTP報文從Network線程拿到後，進入Worker線程，經過解包操作，進入VCM模塊，由Decode線程進行解碼，最終由Render線程進行渲染。

RTP報文接收和解析

RTP數據包經網絡層到達Call對象，根據其SSRC找到對應的VideoReceiveStream，通過調用其DeliverRtp()函數到RtpStreamReceiver:eliverRtp()。

該函數首先解析數據包得到RTP頭部信息，接下來執行三個操作：1.碼率估計；2.繼續發送數據包；3.接收統計。碼率估計模塊使用GCC算法估計碼率，構造REMB報文，交給RtpRtcp模塊發送回發送端。

而接收統計則統計RTP接收信息，這些信息作為RTCP RR報文的數據來源。下面重點分析接下來的數據包發送流程。

• RtpStreamReceiver::ReceivePacket()首先判斷數據包是否是FEC報文，如果是則調用FecReceiver進行解包，否則直接調用RtpReceiver::IncomingRtpPacket()。

• 該函數分析RTP報文得到通用的RTP頭部描述結構，然後調用RtpReceiverVideo:arseRtpPacket()進一步得到Video相關信息和負載，接着經過回調返回RtpStreamReceiver對象。該對象把Rtp描述信息和負載發送到VCM模塊，繼續接下來的JitterBuffer緩存和解碼渲染操作。

• RTP報文解包過程是封包的逆過程，重要的輸出信息是RTP頭部描述和媒體負載，這些信息是下一步JitterBuffer緩存和解碼的基礎。另外對RTP報文進行統計得到的信息則是RTCP RR報文的數據來源。

RTCP報文發送和接收

RTCP協議是RTP協議的控制下可以，負責流媒體的服務質量保證。比較常用的RTCP報文由發送端報告SR和接收端報告RR，分別包含數據發送統計信息和數據接收信息。這些信息對於流媒體質量保證非常重要，比如碼率控制、負載反饋，等等。其他RTCP報文還有諸如SDES、BYE、SDES等，RFC3550對此有詳細定義。

本節重點分析WebRTC內部RTCP報文的構造、發送、接收、解析、反饋等流程。需要再次強調的是，RTCP報文的數據源來自RTP報文發送和接收時的統計信息。在WebRTC內部，RTCP報文的發送採取週期性發送和及時發送相結合的策略：ModuleProcess線程週期性發送RTCP報文；而RtpSender則在每次發送RTP報文之前都判斷是否需要發送RTCP報文；另外在接收端碼率估計模塊構造出REMB報文後，通過設置超時讓ModuleProcess模塊立即發送RTCP報文。

RTCP報文構造和發送

在發送端，RTCP以週期性發送為基準，輔以RTP報文發送時的及時發送和REMB報文的立即發送。發送過程主要包括Feedback信息獲取、RTCP報文構造、序列化和發送。下圖描述了RTCP報文的構造和發送過程。

RTCP報文構造和發送：

開源實時音視頻技術WebRTC中RTP/RTCP數據傳輸協議的應用_4.png

ModuleProcess線程週期性調用ModuleRtpRtcpImpl:rocess()函數，該函數通過RTCPSender::TimeToSendRtcpReport()函數確定當前是否需要立即發送RTCP報文。若是，則首先從RTPSender::GetDataCounters()獲取RTP發送統計信息，然後調用RTCPSender::SendRTCP()，接着是SendCompoundRTCP()發送RTCP組合報文。

在SendCompoundRTCP()函數中，首先通過PrepareReport()確定將要發送何種類型的RTCP報文。然後針對每一種報文，調用其構造函數(如構造SR報文為BuildSR()函數)，構造好的報文存儲在PacketContainer容器中。最後調用SendPackets()進行發送。

接下來每種RTCP報文都會調用各自的序列化函數，把報文序列化為網絡字節流。最後通過回調到達PacketContainer::OnPacketReady()，最終把字節流發送到傳輸層模塊：即通過TransportAdapter到達BaseChannel，Network線程調用傳輸層套接字API發送數據到網絡。

RTCP報文的構造和發送過程總體不是很複雜，最核心的操作就是獲取數據源、構造報文、序列化和發送。相對來説構造報文和序列化比較繁瑣，基於RFC定義的細節進行。

RTCP報文接收和解析

• 在接收端，RTCP報文的接收流程和RTP一樣，經過網絡接收之後到達Call對象，進而通過SSRC找到VideoReceiveStream，繼而到達RtpStreamReceiver。接下來RTCP報文的解析和反饋操作都在ModuleRtpRtcpImpl::IncomingRtcpPacket()函數中完成。

• 該函數首先調用RTCPReceiver::IncomingRtcpPacket()解析RTCP報文，得到RTCPPacketInformation對象，然後調用 TriggerCallbacksFromRTCPPacket()，觸發註冊在此處的各路觀察者執行回調操作。

• RTCPReceiver::IncomingRtcpPacket()使用RTCPParser解析組合報文，針對每一種報文類型，調用對應的處理函數(如處理SDES的HandleSDES函數)，反序列化後拿到報文的描述結構。最後所有報文綜合在一起形成RTCPPacketInformation對象。該對象接下來作為參數調用TriggerCallbacksFromRTCPPacket()函數觸發回調操作，如處理NACK的回調，處理SLI的回調，處理REMB的回調，等等。這些回調在各自模塊控制流媒體數據的編碼、發送、碼率等服務質量保證，這也是RTCP報文最終起作用的地方。

至此，我們分析了RTCP報文發送和接收的整個流程。

小結

本文在深入分析WebRTC源代碼的基礎上，描述出RTP/RTCP模塊的實現流程，在關鍵問題上(如RTCP報文的數據來源)進行深入細緻的研究。為進一步深入掌握WebRTC的實現原理和細節打下良好基礎。