江苏龙网

  1. 主页 > 生活百科 > >

音视频系列：Webrtc音视频通话

WebRTC

音视频通话难点：音视频编解码原理
IP4中，设备在各自的内网，需要p2p打洞
音频降噪和回声消除
信令服务器：
设备连接的socket服务器
传递各个设备之间的信息：传递各个节点的sdp信息，传递ice信息
包含业务功能：如加入、离开房间等
打洞服务器：
为什么打洞？
IP4中，设备在各自的内网，各自的内网不能通信，而想要通信，就需要突破内网限制；
如果用服务器中转，则会加大服务器开销和增加延时；
若不用中转，就需要点对点（p2p）打洞，来实现通信；
NAT
网络地址转换
设备若想链接公网，需要经过路由转换，将私有IP转换为公网IP
在设备和路由中存在IP端口映射表NAPT
如：
设备A的某个应用私有IP端口为：192.168.1.10:9000；
设备A连接的路由器L的公网IP为：200.180.190.11;
那么在路由器L中会有一个端口映射设备A: 200.180.190.11:21111;
200.180.190.11:21111就是设备A的某个应用的公网IP地址和端口的映射；
SDP：
描述了客服端到服务端通信的各个网络地址及端口等信息；
ps:一段文本，就像一个列表，记录了客户端到服务端，中转次数及各个中转点的路由信息；
两个设备实现通信要求：
设备A、设备A的路由AL、设备B、设备B的路由BL；
设备A若想给设备B发消息，AL需要知道B在BL中的IP和端口映射；
同理，设备B若想给设备A发消息，BL需要知道A在AL中的IP和端口映射；
打洞流程：
角色：信令服务器、打洞服务器、设备A、设备A的路由AL、设备B、设备B的路由BL；
通过信令服务器（socket服务器）将设备A到打洞服务器的各个sdp发送给设备B；
通过信令服务器（socket服务器）将设备B到打洞服务器的各个sdp发送给设备A；
设备A尝试发送一条消息到设备B，这条消息是发送不过去的；因为BL里没有A和AL的映射IP和端口；
但是此时AL会在自己的NAPT表中记录B和BL的映射IP和端口；
设备B发送一条消息给设备A，这条消息时可以发送到的 。因为AL的NAPT表中有B和BL的映射IP和端口；并且BL会在自己的NAPT表中记录A和AL的映射IP和端口；
此时A和B就可以直接互相发送消息了，不再需要服务器了；

音视频系列：Webrtc音视频通话

文章插图
 
 
整个过程就是序号1->2->3->4->5->6->7->8>9
过程一：1->2
此过程为用户B向服务器请求向用户A打洞
过程二：3->4
此过程为服务器相应用户B的打洞请求，告诉用户A用户B想与你打洞（数据包中包含用户B的地址信息） 。
过程三：5->6
用户A主动发一条信息给用户B，目的是为了使得路由器A中能够有一条关于路由B的IP的路由信息（注意不是用户B，用户B是私有IP），就如图所示，这条信息会被丢弃的，因为路由B的路由表中没有路由A的IP的信息 。
过程四：7->8->9
【音视频系列：Webrtc音视频通话】用户B再发一条信息给用户A，因为此时路由A的路由表中有关于路由B的IP的路由信息，此时路由A就能路由给用户A了，至此，用户A就能直接收到用户B发的信息了 。注意，此时用户A发给用户B不需要打洞，因为路由B中已经有关于路由A的IP的路由信息了 。
 
webrtc业务流程：
音视频一对一通话、多对多会议都是基于房间进行；
角色：信令服务器S、打洞服务器T、设备A（被请求）、设备A的路由AL、设备B（主请求）、设备B的路由BL；
第一种情况
设备A进入房间时，没有其他设备；
设备A进入房间，信令服务器S给设备A返回设备A的唯一标识符socketId；
设备A开启本地预览：设置视频源、音频源、渲染到surface；
等待获取其他设备发送的请求offer...
准备sdp交换
设备A收到信令服务器S发送来的设备B的socketId和sdp；
设备A请求信令服务器，信令服务器返回设备A到打洞服务器的网络节点各个sdp
设备A设置本地sdp、设置收到的远端sdp;
设备A使用信令服务器S通过收到的socketId将自己的sdp发送给其他设备B；sdp交换完成
开始打洞：ICE交换
设备A通过异步消息获得打洞服务器返回的自己的ICE信息；
设备A通过信令服务器S将ICE信息发送给设备B；
等待设备B连接；
ICE交换完成后
获取远端设备B的视频流、音频流，进行解码播放；
第二种情况
设备B进入房间时，已有其他设备，如：设备A...；


推荐阅读


上一篇：橙红口红适合什么样的皮肤,橙红色口红适合什么人-

下一篇：Hadoop数据去重