WebRTC技術專題(3)【更進一步,核心元件RTP/RTCP資料傳輸協議】
前言介紹
RTP/RTCP協議是流媒體通訊的基石。
- RTP協議定義流媒體資料在網際網路上傳輸的資料包格式
- RTCP協議則負責可靠傳輸、流量控制和擁塞控制等服務質量保證。
在WebRTC專案中,RTP/RTCP模組作為傳輸模組的一部分
-
傳送端採集到的媒體資料進行進行封包,然後交給上層網路模組傳送;
-
接收端RTP/RTCP模組收到上層模組的資料包後,進行解包操作,最後把負載傳送到解碼模組。
因此,RTP/RTCP 模組在WebRTC通訊中發揮非常重要的作用。
RTP/RTCP協議概述
RTP協議是Internet上針對流媒體傳輸的基礎協議,該協議詳細說明在網際網路上傳輸音視訊的標準資料包格式。
-
RTP協議本身只保證實時資料的傳輸,RTCP協議則負責流媒體的傳輸質量保證,提供流量控制和擁塞控制等服務。
-
RTP會話期間,各參與者週期性彼此傳送RTCP報文。報文中包含各參與者資料傳送和接收等統計資訊,參與者可以據此動態控制流媒體傳輸質量。
RFC3550 定義RTP/RTCP協議的基本內容,包括報文格式、傳輸規則等。除此之外,IETF還定義一系列擴充套件協議,包括RTP協議基於檔次的擴充套件,和RTCP協議基於報文型別的擴充套件,等等。
WebRTC的資料處理和傳輸過程
WebRTC對外提供兩個執行緒:Signal和Worker,前者負責信令資料的處理和傳輸,後者負責媒體資料的處理和傳輸。
WebRTC執行緒關係和資料Pipline
-
Capture執行緒從攝像頭採集原始資料,得到VideoFrame;
-
Capture執行緒是系統相關的,在Linux系統上可能是呼叫V4L2介面的執行緒,而在Mac系統上可能是呼叫AVFoundation框架的介面。
-
接下來原始資料VideoFrame從Capture執行緒到達Worker執行緒,Worker執行緒起搬運工的作用,沒有對資料做特別處理,而是轉發到Encoder執行緒。
-
Encoder執行緒呼叫具體的編碼器(如VP8, H264)對原始資料VideoFrame進行編碼,編碼後的輸出進一步進行RTP封包形成RTP資料包。
-
然後RTP資料包傳送到Pacer執行緒進行平滑傳送,Pacer執行緒會把RTP資料包推送到Network執行緒。最終Network執行緒呼叫傳輸層系統函式把資料傳送到網路。
-
在接收端,Network執行緒從網路接收位元組流,接著Worker執行緒反序列化為RTP資料包,並在VCM模組進行組幀操作。
-
Decoder執行緒對組幀完成的資料幀進行解碼操作,解碼後的原始資料VideoFrame會推送到IncomingVideoStream執行緒,該執行緒把VideoStream投放到render進行渲染顯示。至此,一幀視訊資料完成從採集到顯示的完整過程。
在上述過程中,RTP資料包產生在傳送端編碼完成後,其編碼輸出被封裝為RTP報文,然後經序列化傳送到網路。
-
在接收端由網路執行緒收到網路資料包後,經過反序列化還原成RTP報文,然後經過解包得到媒體資料負載,供解碼器進行解碼。
-
RTP報文在傳送和接收過程中,會執行一系列統計操作,統計結果作為資料來源供構造RTCP報文之用。
RTP報文構造、傳送/接收統計和RTCP報文構造、解析反饋,是接下來分析的重點。
RTP報文傳送和接收
RTP報文的構造和傳送發生在編碼器編碼之後、網路層傳送資料包之前,而接收和解包發生在網路層接收資料之後、解碼器編碼之前。本節詳細分析這兩部分的內容。
RTP報文構造和傳送
傳送端編碼之後RTP報文的構造和傳送過程,涉及三個執行緒:Encoder、Pacer和Network,分別負責編碼和構造RTP報文,平滑傳送和傳輸層傳送。下面詳細描述這三個執行緒的協同工作過程。
RTP報文構造和傳送
開源實時音視訊技術WebRTC中RTP/RTCP資料傳輸協議的應用
-
Encode執行緒呼叫編碼器(比如VP8)對採集到的Raw VideoFrame進行編碼,編碼完成以後,其輸出EncodedImage通過回撥到達VideoSendStream::Encoded()函式,進而通過PayloadRouter路由到ModuleRtpRtcpImpl::SendOutgoingData()。
-
該函式向下呼叫RtpSender::SendOutgoingData(),進而呼叫RtpSenderVideo::SendVideo()。
- 該函式對EncodedImage進行打包,然後填充RTP頭部構造RTP報文;如果配置了FEC,則進一步封裝為FEC報文。最後返回RtpSender::SendToNetwork()進行下一步傳送。
-
RtpSender::SendToNetwork()函式把報文儲存到RTPPacketHistory結構中進行快取。
-
接下來如果開啟PacedSending,則構造Packet傳送到PacedSender進行排隊,否則直接傳送到網路層。
Pacer執行緒週期性從佇列中獲取Packet,然後呼叫PacedSender::SendPacket()進行傳送,
接下來經過ModuleRtpRtcpImpl到達RtpSender::TimeToSendPacket()。
該函式首先從RtpPacketHistory快取中拿到Packet的負載,然後呼叫PrepareAndSendPacket()函式:更新RtpHeader的相關域,統計延遲和資料包,呼叫SendPacketToNetwork()把報文傳送到傳輸模組。
Network執行緒則呼叫傳輸層套接字執行資料傳送操作。至此,傳送端的RTP構造和傳送流程完成。需要注意的是,在RtpSender中進行Rtp傳送後,會統計RTP報文相關資訊。這些資訊作為RTCP構造SR/RR報文的資料來源,因此非常重要。
RTP報文接收和解析
在接收端,RTP報文的接收和解包操作主要在Worker執行緒中執行,RTP報文從Network執行緒拿到後,進入Worker執行緒,經過解包操作,進入VCM模組,由Decode執行緒進行解碼,最終由Render執行緒進行渲染。
RTP報文接收和解析
RTP資料包經網路層到達Call物件,根據其SSRC找到對應的VideoReceiveStream,通過呼叫其DeliverRtp()函式到RtpStreamReceiver:eliverRtp()。
該函式首先解析資料包得到RTP頭部資訊,接下來執行三個操作:1.位元速率估計;2.繼續傳送資料包;3.接收統計。位元速率估計模組使用GCC演算法估計位元速率,構造REMB報文,交給RtpRtcp模組傳送回傳送端。
而接收統計則統計RTP接收資訊,這些資訊作為RTCP RR報文的資料來源。下面重點分析接下來的資料包傳送流程。
-
RtpStreamReceiver::ReceivePacket()首先判斷資料包是否是FEC報文,如果是則呼叫FecReceiver進行解包,否則直接呼叫RtpReceiver::IncomingRtpPacket()。
-
該函式分析RTP報文得到通用的RTP頭部描述結構,然後呼叫RtpReceiverVideo:arseRtpPacket()進一步得到Video相關資訊和負載,接著經過回撥返回RtpStreamReceiver物件。該物件把Rtp描述資訊和負載傳送到VCM模組,繼續接下來的JitterBuffer快取和解碼渲染操作。
-
RTP報文解包過程是封包的逆過程,重要的輸出資訊是RTP頭部描述和媒體負載,這些資訊是下一步JitterBuffer快取和解碼的基礎。另外對RTP報文進行統計得到的資訊則是RTCP RR報文的資料來源。
RTCP報文傳送和接收
RTCP協議是RTP協議的控制下可以,負責流媒體的服務質量保證。比較常用的RTCP報文由傳送端報告SR和接收端報告RR,分別包含資料傳送統計資訊和資料接收資訊。這些資訊對於流媒體質量保證非常重要,比如位元速率控制、負載反饋,等等。其他RTCP報文還有諸如SDES、BYE、SDES等,RFC3550對此有詳細定義。
本節重點分析WebRTC內部RTCP報文的構造、傳送、接收、解析、反饋等流程。需要再次強調的是,RTCP報文的資料來源來自RTP報文傳送和接收時的統計資訊。在WebRTC內部,RTCP報文的傳送採取週期性傳送和及時傳送相結合的策略:ModuleProcess執行緒週期性傳送RTCP報文;而RtpSender則在每次傳送RTP報文之前都判斷是否需要傳送RTCP報文;另外在接收端位元速率估計模組構造出REMB報文後,通過設定超時讓ModuleProcess模組立即傳送RTCP報文。
RTCP報文構造和傳送
在傳送端,RTCP以週期性傳送為基準,輔以RTP報文傳送時的及時傳送和REMB報文的立即傳送。傳送過程主要包括Feedback資訊獲取、RTCP報文構造、序列化和傳送。下圖描述了RTCP報文的構造和傳送過程。
RTCP報文構造和傳送:
開源實時音視訊技術WebRTC中RTP/RTCP資料傳輸協議的應用_4.png
ModuleProcess執行緒週期性呼叫ModuleRtpRtcpImpl:rocess()函式,該函式通過RTCPSender::TimeToSendRtcpReport()函式確定當前是否需要立即傳送RTCP報文。若是,則首先從RTPSender::GetDataCounters()獲取RTP傳送統計資訊,然後呼叫RTCPSender::SendRTCP(),接著是SendCompoundRTCP()傳送RTCP組合報文。
在SendCompoundRTCP()函式中,首先通過PrepareReport()確定將要傳送何種型別的RTCP報文。然後針對每一種報文,呼叫其建構函式(如構造SR報文為BuildSR()函式),構造好的報文儲存在PacketContainer容器中。最後呼叫SendPackets()進行傳送。
接下來每種RTCP報文都會呼叫各自的序列化函式,把報文序列化為網路位元組流。最後通過回撥到達PacketContainer::OnPacketReady(),最終把位元組流傳送到傳輸層模組:即通過TransportAdapter到達BaseChannel,Network執行緒呼叫傳輸層套接字API傳送資料到網路。
RTCP報文的構造和傳送過程總體不是很複雜,最核心的操作就是獲取資料來源、構造報文、序列化和傳送。相對來說構造報文和序列化比較繁瑣,基於RFC定義的細節進行。
RTCP報文接收和解析
-
在接收端,RTCP報文的接收流程和RTP一樣,經過網路接收之後到達Call物件,進而通過SSRC找到VideoReceiveStream,繼而到達RtpStreamReceiver。接下來RTCP報文的解析和反饋操作都在ModuleRtpRtcpImpl::IncomingRtcpPacket()函式中完成。
-
該函式首先呼叫RTCPReceiver::IncomingRtcpPacket()解析RTCP報文,得到RTCPPacketInformation物件,然後呼叫 TriggerCallbacksFromRTCPPacket(),觸發註冊在此處的各路觀察者執行回撥操作。
-
RTCPReceiver::IncomingRtcpPacket()使用RTCPParser解析組合報文,針對每一種報文型別,呼叫對應的處理函式(如處理SDES的HandleSDES函式),反序列化後拿到報文的描述結構。最後所有報文綜合在一起形成RTCPPacketInformation物件。該物件接下來作為引數呼叫TriggerCallbacksFromRTCPPacket()函式觸發回撥操作,如處理NACK的回撥,處理SLI的回撥,處理REMB的回撥,等等。這些回撥在各自模組控制流媒體資料的編碼、傳送、位元速率等服務質量保證,這也是RTCP報文最終起作用的地方。
至此,我們分析了RTCP報文傳送和接收的整個流程。
小結
本文在深入分析WebRTC原始碼的基礎上,描述出RTP/RTCP模組的實現流程,在關鍵問題上(如RTCP報文的資料來源)進行深入細緻的研究。為進一步深入掌握WebRTC的實現原理和細節打下良好基礎。
- 完整秒殺架構的設計到技術關鍵點的“情報資訊”
- 獨一無二的「MySQL調優金字塔」相信也許你擁有了它,你就很可能擁有了全世界。
- 【MySQL技術之旅】(5)該換換你的資料庫版本了,讓我們一同迎接8.0的到來哦!(初探篇)
- ☕【Java技術指南】「Java8程式設計專題」讓你真正會用對Java新版日期時間API程式設計指南
- 【Fegin技術專題】「原生態」開啟Fegin之RPC技術的開端,你會使用原生態的Fegin嗎?(高階用法)
- 【優化技術專題】「執行緒間的高效能訊息框架」終極關注Disruptor的核心原始碼和Java8的@Contended偽共享指南
- 【優化技術專題】「執行緒間的高效能訊息框架」再次細節領略Disruptor的底層原理和優勢分析
- 【Zookeeper核心原理】Paxos協議的原理和實際執行中的應用流程分析
- ☕【Java技術指南】「JPA程式設計專題」讓你不再對JPA技術中的“持久化型註解”感到陌生了!
- Java技術開發專題系列之【Guava RateLimiter】針對於限流器的入門到精通(含原始碼分析介紹)
- ☕【Java技術指南】「JPA程式設計專題」讓你不再對JPA技術中的“持久化型註解”感到陌生了!
- 【Eureka技術指南】「SpringCloud」從原始碼層面讓你認識Eureka工作流程和運作機制(下)
- MySQL技術專題(6)這也許是你的知識盲區-MySQL主從架構以及[半同步機制]
- 優化技術專題-執行緒間的高效能訊息框架-深入淺出Disruptor的使用和原理
- ☕【Java技術指南】「併發程式設計專題」Fork/Join框架基本使用和原理探究(原理篇)
- ☕【Java技術指南】「併發程式設計專題」Guava RateLimiter針對於限流器的入門到精通(含原始碼分析介紹)
- 【優化技術專題】「溫故而知新」基於Quartz系列的任務排程框架的動態化任務實現分析
- ☕【Java技術指南】「併發程式設計專題」Guava RateLimiter針對於限流器的入門到精通(含實戰和原理分析)
- 【MySQL技術之旅】(4)這也許是你的知識盲區-[MySQL主從架構]之半同步機制
- ☕【Java技術指南】「併發程式設計專題」CompletionService框架基本使用和原理探究(基礎篇)