Webrtc實時通信的構建流程:PeerConnection對等通信的實現方式
webrtc是一個實時通訊技術,很簡單的應用在web瀏覽器中應用實時通訊技術,包括音視頻通話。在使用webrtc技術時,瀏覽器端都已經基本封裝好,只要調用相應的api,就可實現簡單的通話,其中一個主要對象就是RTCPeerConnection 支持音頻和視頻媒體數據通信。本文我們就分享一下一套完整的對等通信是如何實現的。
瀏覽器端
1、創建webrtc對等連接方法。
let pc = new PTCPeerConnection({
iceServers: [{ urls: ’stun:stun.l.google.com:19302’ }]
})
2、通過瀏覽器api創建流(開啟攝像頭、桌面截屏和獲取canvas流)
navigator.getUserMedia = navigator.getUserMedia || navigator.webkitGetUserMedia || navigator.mozGetUserMedia;這個是獲取的攝像頭流
3、再把攝像頭的流添加到webrtc流的軌道。
stream.getTracks.forEach(track => pc.addTrack(track))
4、以上步驟都創建好,下一步創建offer和answer把獲取到的sdp通過服務器進行數據交換,再傳遞ICE信息。最後監聽PTCPeerConnection裏面的方法ontrack來獲取到流。如果斷開也可監聽onconnectionstatechange方法來獲取斷開和錯誤的狀態。
c++ 端
c++端比js端複雜太多,但也是大致流程都差不多,稍微比較複雜。
1、先創建一個對等連接的工廠
peer_connection_factory_ = webrtc::CreatePeerConnectionFactory(
nullptr /* network_thread */, nullptr /* worker_thread */,
nullptr /* signaling_thread */, nullptr /* default_adm */,
webrtc::CreateBuiltinAudioEncoderFactory(),
webrtc::CreateBuiltinAudioDecoderFactory(),
webrtc::CreateBuiltinVideoEncoderFactory(),
webrtc::CreateBuiltinVideoDecoderFactory(), nullptr /* audio_mixer */,
nullptr /* audio_processing */);
2、通過對等連接工程來創建一個對等連接的實例
webrtc::PeerConnectionInterface::RTCConfiguration config;
config.sdp_semantics = webrtc::SdpSemantics::kUnifiedPlan;
config.enable_dtls_srtp = dtls;
webrtc::PeerConnectionInterface::IceServer server;
server.uri = GetPeerConnectionString();
config.servers.push_back(server);
peer_connection_ = peer_connection_factory_->CreatePeerConnection(
config, nullptr, nullptr, this);
3、獲取視頻和音頻流,並添加到peer_connection_中AddTrack方法。
視頻:
rtc::scoped_refptr<CapturerTrackSource> video_device =
CapturerTrackSource::Create();
if (video_device) {
rtc::scoped_refptr<webrtc::VideoTrackInterface> video_track_(
peer_connection_factory_->CreateVideoTrack(kVideoLabel, video_device));
auto result_or_error2 = peer_connection_->AddTrack(video_track_, {kStreamId});
音頻:
rtc::scoped_refptr<webrtc::AudioTrackInterface> audio_track(
peer_connection_factory_->CreateAudioTrack(
kAudioLabel, peer_connection_factory_->CreateAudioSource(
cricket::AudioOptions())));
auto result_or_error = peer_connection_->AddTrack(audio_track, { kStreamId });
4、也是發起端創建offer,遠端創建answer來交換sdp信息,在監聽OnIceCandidate方法,並傳遞ice,這樣本地也遠端都可以實時通信。
「其他文章」
- 設備註冊EasyGBS不斷出現上線又離線的現象是什麼原因?
- 2022年5個值得關注的AI趨勢,一分鐘看明白
- EasyCVR平台如何通過華為SDK接入實現雲台控制?
- 視頻融合雲服務EasyCVR平台如何實現華為SDK添加設備錄像?
- EasyCVR級聯EasyCVR出現通道頻繁掉線是什麼原因?
- SQLite切換為MySQL數據庫,分組不展示通道並報語法錯誤如何處理?
- 視頻融合平台EasyCVR控制枱啟動時,在關閉播放日誌情況下為何還會打印日誌?
- 新版EasyGBS快照生成默認保存.raw格式,如何轉成.jpg格式?
- 下級平台科達錄像機級聯接入EasyCVR出現字段報錯是什麼原因?
- EasyCVR磁盤讀寫消耗大導致播放卡頓該如何解決?
- 智慧工廠:EasyNVR如何讓工廠實現現代化與智能化視頻監控與管理?
- AI人工智能視頻技術如何運用在森林火災監測中?
- 基於WebRTC開源框架的新版EasyRTC會議錄像播放下載實現邏輯
- 如何搭建多nginx實現視頻分流?
- EasyGBS如何實現Nginx代理路徑的拼接?
- EasyCVR部署在Windows系統報錯“缺少dll處理文件”,如何解決?
- EasyGBS安防視頻平台出現內存異常暴漲是什麼原因?
- 視頻平台人臉識別比對控制比對時間間隔的代碼設計
- AI煙火檢測識別算法在視頻監控場景中的預警應用分析
- 程序員必看:13個GitHub開源又炫酷的計算機視覺項目