镇江网站优化公司百度写作助手

前言

最近在学习WebRTC的时候，发现只有JavaScript的API文档，找了很久没有找到Android相关的API文档，所以通过此片文章记录下在Android应用层如何使用WebRTC

本篇文章结合：【WebRTC】适合新手宝宝的WebRTC入门教学一起食用更佳

PeerConnectionFactory

负责管理和创建WebRTC所需组件，例如：音视频轨道、PeerConnection，是WebRTC使用的起点

// 1. 初始化Factory，此步骤用于初始化日志、加载JniLib、对Jni进行初始化
PeerConnectionFactory.initialize(PeerConnectionFactory.InitializationOptions.builder(WebRtcApp.instance).createInitializationOptions()
）// 2. 创建factory实例，通过builder可以设置编解码器工厂、AudioDeviceModule(音频设备管理模块)
peerConnectionFactory = PeerConnectionFactory.builder().setOptions(PeerConnectionFactory.Options()).setAudioDeviceModule(audioDeviceModule).setVideoDecoderFactory(defaultDecoder).setVideoEncoderFactory(defaultEncoder).createPeerConnectionFactory()// 3. 创建peerConnection、音视频轨道等
localPeerClient = peerConnectionFactory.createPeerConnection(）
videoSource = peerConnectionFactory.createVideoSource(false)
localVideoTrack = peerConnectionFactory.createVideoTrack(WebRtcConstant.VideoTrackID, videoSource)

PeerConnection

这是WebRTC API中最重要的类，负责点对点连接的建立，音视频推流等

1. PeerConnection.RTCConfiguration

WebRTC连接参数，必须通过ICE服务器（PeerConnection.IceServer）列表进行构建

val rtcConfig = PeerConnection.RTCConfiguration(peerIceServers)
rtcConfig.apply {bundlePolicy = PeerConnection.BundlePolicy.MAXBUNDLEsdpSemantics = PeerConnection.SdpSemantics.UNIFIED_PLANcontinualGatheringPolicy = PeerConnection.ContinualGatheringPolicy.GATHER_CONTINUALLYkeyType = PeerConnection.KeyType.ECDSArtcpMuxPolicy = PeerConnection.RtcpMuxPolicy.REQUIREtcpCandidatePolicy = PeerConnection.TcpCandidatePolicy.ENABLEDsuspendBelowMinBitrate = true
}

2. 交换SDP

PeerConnection提供了SDP Offer的创建和发送相关方法

// 1. 创建offer
localPeerClient.createOffer(object : KinesisVideoSdpObserver() {override fun onCreateSuccess(sessionDescription: SessionDescription) {// 1.1 创建offer成功回调super.onCreateSuccess(sessionDescription)// 2. 创建成功后需要将offer设置为LocalDescriptionlocalPeerClient.setLocalDescription(KinesisVideoSdpObserver(), sessionDescription)// 3. 此时应该通过信令服务器将offer发送给远端}}, AwsEngine.getSdpMediaConstraints())// 4. 当收到远端响应的answer时，设置为RemoteDescription
localPeerClient.setRemoteDescription(KinesisVideoSdpObserver(), sdpAnswer)// 5. 当收到远端的offer时，此时先设置RemoteDescription然后需要响应answer
localPeerClient.createAnswer(object : KinesisVideoSdpObserver() {override fun onCreateSuccess(sessionDescription: SessionDescription) {// 5.1 创建answer成功super.onCreateSuccess(sessionDescription)// 5.2 设置为LocalDescriptionit.setLocalDescription(KinesisVideoSdpObserver(), sessionDescription)// 5.3 通过信令服务器发送回远端}}, MediaConstraints())
}

3. 设置ICE候选地址对

ICE候选地址对的来源有两个，一个是由localPeerClient在创建后根据PeerConnection.IceServer返回的，这些地址需要同发送给远端。另一个来源是远端设备，远端设备在与ICE通信后会得到它的候选地址对，此时远端会通过信令服务器通知本设备。

peerConnectionFactory.createPeerConnection(rtcConfig,object : KinesisVideoPeerConnection() {override fun onIceCandidate(iceCandidate: IceCandidate) {// 1. 由WebRTC自动探测出的候选地址对回调super.onIceCandidate(iceCandidate)// 1.1 通过信令服务器告诉远端signalingClient?.sendIceCandidate(message)}}
)// 2. 来自信令服务器的回调
override fun onReceiverIceCandidate(event: Event) {// 2.1 收到远端的候选地址对后，添加到本地的WebRTC中，等待WebRTC自行尝试连接val iceCandidate = Event.parseIceCandidate(event)PeerConnection.addIceCandidate(iceCandidate)
}

4. 添加本地音视频轨道

在WebRTC建立连接后，此时远端的数据会通过回调传来，如果本机需要向远端推流，此时只需要设置音视频轨道即可

// 1. 创建一个空流，需要手动为期添加音轨和视频轨
stream = peerConnectionFactory.createLocalMediaStream(WebRtcConstant.LOCAL_MEDIA_STREAM_LABEL)// 2. 创建视频源，默认创建的源是没有数据的，通常要与摄像头、或自定义数据源进行绑定
videoSource = peerConnectionFactory.createVideoSource(false)// 3. 创建视频轨道，可以绑定到 UI 组件（如本地预览）或添加到 PeerConnection。
//    例如将视频轨道绑定到本地预览视图：localVideoTrack.addSink(localVideoView)
localVideoTrack = peerConnectionFactory.createVideoTrack(WebRtcConstant.VideoTrackID, videoSource)// 4. 向流添加视频轨
stream.addTrack(localVideoTrack)
// 5. 将视频流交至WebRTC处理
localPeerClient?.addTrack(stream!!.videoTracks[0], listOf(stream!!.id))

ps：为什么要设计将数据源和数据轨道分开来

• 解藕数据源和传输的逻辑，数据源负责数据的采集和生成，数据轨道负责数据的传输
• 可实现多个数据轨道共享同一个数据源，避免重复采集

5. 开启数据通道

WebRTC不仅提供数据流的传输，还能提供数据报文传输，只需要打开数据通道

// 1. 创建数据通道
localDataChannel = localPeerClient?.createDataChannel("data-channel-of-${connectParameter?.clientId}", DataChannel.Init())
// 2. 注册消息监听
localDataChannel?.registerObserver(object :DataChannel.Observer{override fun onBufferedAmountChange(previousAmount: Long) {}override fun onStateChange() {}override fun onMessage(buffer: DataChannel.Buffer) {// 2.1 远端消息到来时回调val byteArray = ByteArray(buffer.data.remaining())buffer.data.get(byteArray)val messageStr = String(byteArray, Charsets.UTF_8)}
})
// 3. 向远端发送消息
localDataChannel?.send(DataChannel.Buffer(ByteBuffer.wrap(content.toByteArray(Charset.defaultCharset())),false)
)