Webrtc实时通信的构建流程:PeerConnection对等通信的实现方式
webrtc是一个实时通讯技术,很简单的应用在web浏览器中应用实时通讯技术,包括音视频通话。在使用webrtc技术时,浏览器端都已经基本封装好,只要调用相应的api,就可实现简单的通话,其中一个主要对象就是RTCPeerConnection 支持音频和视频媒体数据通信。本文我们就分享一下一套完整的对等通信是如何实现的。
浏览器端
1、创建webrtc对等连接方法。
let pc = new PTCPeerConnection({
iceServers: [{ urls: ’stun:stun.l.google.com:19302’ }]
})
2、通过浏览器api创建流(开启摄像头、桌面截屏和获取canvas流)
navigator.getUserMedia = navigator.getUserMedia || navigator.webkitGetUserMedia || navigator.mozGetUserMedia;这个是获取的摄像头流
3、再把摄像头的流添加到webrtc流的轨道。
stream.getTracks.forEach(track => pc.addTrack(track))
4、以上步骤都创建好,下一步创建offer和answer把获取到的sdp通过服务器进行数据交换,再传递ICE信息。最后监听PTCPeerConnection里面的方法ontrack来获取到流。如果断开也可监听onconnectionstatechange方法来获取断开和错误的状态。
c++ 端
c++端比js端复杂太多,但也是大致流程都差不多,稍微比较复杂。
1、先创建一个对等连接的工厂
peer_connection_factory_ = webrtc::CreatePeerConnectionFactory(
nullptr /* network_thread */, nullptr /* worker_thread */,
nullptr /* signaling_thread */, nullptr /* default_adm */,
webrtc::CreateBuiltinAudioEncoderFactory(),
webrtc::CreateBuiltinAudioDecoderFactory(),
webrtc::CreateBuiltinVideoEncoderFactory(),
webrtc::CreateBuiltinVideoDecoderFactory(), nullptr /* audio_mixer */,
nullptr /* audio_processing */);
2、通过对等连接工程来创建一个对等连接的实例
webrtc::PeerConnectionInterface::RTCConfiguration config;
config.sdp_semantics = webrtc::SdpSemantics::kUnifiedPlan;
config.enable_dtls_srtp = dtls;
webrtc::PeerConnectionInterface::IceServer server;
server.uri = GetPeerConnectionString();
config.servers.push_back(server);
peer_connection_ = peer_connection_factory_->CreatePeerConnection(
config, nullptr, nullptr, this);
3、获取视频和音频流,并添加到peer_connection_中AddTrack方法。
视频:
rtc::scoped_refptr<CapturerTrackSource> video_device =
CapturerTrackSource::Create();
if (video_device) {
rtc::scoped_refptr<webrtc::VideoTrackInterface> video_track_(
peer_connection_factory_->CreateVideoTrack(kVideoLabel, video_device));
auto result_or_error2 = peer_connection_->AddTrack(video_track_, {kStreamId});
音频:
rtc::scoped_refptr<webrtc::AudioTrackInterface> audio_track(
peer_connection_factory_->CreateAudioTrack(
kAudioLabel, peer_connection_factory_->CreateAudioSource(
cricket::AudioOptions())));
auto result_or_error = peer_connection_->AddTrack(audio_track, { kStreamId });
4、也是发起端创建offer,远端创建answer来交换sdp信息,在监听OnIceCandidate方法,并传递ice,这样本地也远端都可以实时通信。
「其他文章」
- 设备注册EasyGBS不断出现上线又离线的现象是什么原因?
- 2022年5个值得关注的AI趋势,一分钟看明白
- EasyCVR平台如何通过华为SDK接入实现云台控制?
- 视频融合云服务EasyCVR平台如何实现华为SDK添加设备录像?
- EasyCVR级联EasyCVR出现通道频繁掉线是什么原因?
- SQLite切换为MySQL数据库,分组不展示通道并报语法错误如何处理?
- 视频融合平台EasyCVR控制台启动时,在关闭播放日志情况下为何还会打印日志?
- 新版EasyGBS快照生成默认保存.raw格式,如何转成.jpg格式?
- 下级平台科达录像机级联接入EasyCVR出现字段报错是什么原因?
- EasyCVR磁盘读写消耗大导致播放卡顿该如何解决?
- 智慧工厂:EasyNVR如何让工厂实现现代化与智能化视频监控与管理?
- AI人工智能视频技术如何运用在森林火灾监测中?
- 基于WebRTC开源框架的新版EasyRTC会议录像播放下载实现逻辑
- 如何搭建多nginx实现视频分流?
- EasyGBS如何实现Nginx代理路径的拼接?
- EasyCVR部署在Windows系统报错“缺少dll处理文件”,如何解决?
- EasyGBS安防视频平台出现内存异常暴涨是什么原因?
- 视频平台人脸识别比对控制比对时间间隔的代码设计
- AI烟火检测识别算法在视频监控场景中的预警应用分析
- 程序员必看:13个GitHub开源又炫酷的计算机视觉项目