https://www.toutiao.com/article/7241594231700144697/
WebRTC.Net库开发进阶，教你实现屏幕共享和多路复用！
原创2023-06-07 06:06·小乖兽技术
上一篇文章详细介绍了WebRTC.Net库的入门用法。WebRTC.Net库：让你的应用更亲民友好，实现视频通话无痛接入！ 除了基本用法外，还有一些进阶用法可以更好地利用该库。
自定义 STUN/TURN 服务器配置
WebRTC.Net 默认使用 Google 的 STUN 服务器和 Coturn 的 TURN 服务器。如果你需要使用其他 STUN/TURN 服务器，则可以在初始化 PeerConnectionFactory 和 PeerConnection 时设置自定义配置。
例如，以下代码设置了使用 coturn 服务器的 PeerConnectionFactory：
var config = new PeerConnectionConfiguration
{
IceServers = new List<IceServer>
{
new IceServer{ Urls = new[] { "stun:stun.l.google.com:19302" }},
new IceServer{ Urls = new[] { "turn:my-turn-server.com" }, Username="myusername", Credential="mypassword" }
}
};
var factory = new PeerConnectionFactory(config);在不同线程中创建和使用 PeerConnectionFactory 和 PeerConnection 对象：
WebRTC.Net 库本质上是基于线程的，因此它的对象通常在单独的线程中创建和使用。这样可以避免在主线程中对 UI 线程造成大量负担。
以下代码在后台线程中创建并使用 PeerConnection 对象：
Task.Run(() =>
{
var config = new PeerConnectionConfiguration { IceServers = new List<IceServer> { new IceServer { Urls = new[] { "stun:stun.l.google.com:19302" } } } };
var factory = new PeerConnectionFactory(config);
var pc = factory.CreatePeerConnection(config);
// 在这里使用 PeerConnection 对象，不会阻塞主线程
}).Wait(); 选择视频和音频设备
在创建 PeerConnectionFactory 对象时，可以设置 defaultAudioDevice 和 defaultVideoDevice 参数以选择默认的音频和视频设备。
例如，以下如何通过设备名称选择视频和音频设备：
var config = new PeerConnectionConfiguration
{
IceServers = new List<IceServer> { new IceServer { Urls = new[] { "stun:stun.l.google.com:19302" } } },
DefaultVideoDevice = VideoCaptureDevice.GetDevices().FirstOrDefault(x => x.Name == "MyCameraName"),
DefaultAudioDevice = AudioCaptureDevice.GetDevices().FirstOrDefault(x => x.Name == "MyMicrophoneName")
};
var factory = new PeerConnectionFactory(config);实现数据通道
WebRTC.Net 库不仅支持音视频传输，还支持实现数据通道（DataChannel）。使用数据通道，应用程序可以在客户端之间传输任意类型的数据，例如聊天消息、游戏状态等。
以下代码如何创建数据通道：
// 创建 PeerConnection 对象
var config = new PeerConnectionConfiguration { IceServers = new List<IceServer> { new IceServer { Urls = new[] { "stun:stun.l.google.com:19302" } } } };
var factory = new PeerConnectionFactory(config);
var pc = factory.CreatePeerConnection(config);
// 创建数据通道
var dcConfig = new DataChannelInit { Ordered = true };
var dc = pc.CreateDataChannel("mydatachannel", dcConfig);
// 监听数据通道事件
dc.MessageReceived += (sender, e) =>
{
// 处理接收到的数据
};实现屏幕共享
除了音视频传输和数据通道，WebRTC.Net 还支持屏幕共享。这意味着应用程序可以捕获屏幕上的内容并将其共享给其他客户端。
以下是使用 WinForm 技术栈和 WebRTC.Net 库实现桌面共享的示例代码。
using System;
using System.Drawing;
using System.Threading.Tasks;
using System.Windows.Forms;
using Windows.Graphics.Capture;
using Windows.Graphics.DirectX.Direct3D11;
using Microsoft.Toolkit.Win32.UI.Controls.Interop.WinRT;
using Org.WebRtc;
namespace DesktopStreaming
{
public partial class MainForm : Form
{
private PeerConnection _peerConnection;
private DataChannel _dataChannel;
private Direct3D11CaptureFramePool _framePool;
private GraphicsCaptureSession _session;
private VideoTrack _videoTrack;
public MainForm()
{
InitializeComponent();
// 初始化 WebRTC
WebRTC.Initialize(new WebRTCInitializationOptions { EnableAudioBufferLog = false });
// 创建 PeerConnectionFactory 对象
var config = new PeerConnectionConfiguration { IceServers = new[] { new IceServer { Urls = new[] { "stun:stun.l.google.com:19302" } } } };
var factory = new PeerConnectionFactory(config);
// 创建 PeerConnection 对象
_peerConnection = factory.CreatePeerConnection();
// 创建数据通道
_dataChannel = _peerConnection.CreateDataChannel("mychannel");
// 订阅数据通道的消息事件
_dataChannel.MessageReceived += (sender, args) =>
{
// 处理收到的消息
};
// 创建 Direct3D11CaptureFramePool 对象
var device = Direct3D11Helpers.CreateDevice();
var size = new Size(800, 600);
_framePool = Direct3D11CaptureFramePool.CreateFreeThreaded(
device,
Direct3DPixelFormat.B8G8R8A8UIntNormalized,
1,
size);
// 订阅 FrameArrived 事件
_framePool.FrameArrived += (sender, args) =>
{
// 获取最新的桌面帧
using var frame = sender.TryGetNextFrame();
if (frame == null) return;
// 将桌面帧转换为 RTCVideoFrame 对象
var videoFrame = new RTCVideoFrame(frame.ContentSize.Width, frame.ContentSize.Height, RTCVideoFrameType.RTCVideoFrameTypeI420);
videoFrame.ConvertFromArgb32(frame.Surface.Direct3D11Device, frame.Surface);
// 将 RTCVideoFrame 对象转换为 VideoTrack 对象并发送
if (_videoTrack != null)
_videoTrack.PushFrame(videoFrame);
};
// 创建 GraphicsCaptureItem 对象
var item = ScreenCapture.GetDefault();
// 创建 GraphicsCaptureSession 对象
_session = _framePool.CreateCaptureSession(item);
}
private async void btnStart_Click(object sender, EventArgs e)
{
// 开始共享桌面
await _session.StartAsync();
// 创建视频轨道
_videoTrack = await PeerConnectionFactory.GetVideoTrackSourceAsync(_framePool);
// 添加视频轨道到 PeerConnection 对象
await _peerConnection.AddTrack(_videoTrack);
// 创建 Offer SDP 并设置本地描述符
var offerSdp = await _peerConnection.CreateOffer();
await _peerConnection.SetLocalDescription(offerSdp);
// 发送 Offer SDP 到远端
SendSdp(offerSdp);
}
private void SendSdp(RTCSessionDescription sdp)
{
// 将 SDP 转换为 JSON 格式并发送到远端
var json = Newtonsoft.Json.JsonConvert.SerializeObject(new { type = sdp.Type, sdp = sdp.Sdp });
_dataChannel.Send(json);
}
private async void MainForm_FormClosing(object sender, FormClosingEventArgs e)
{
// 关闭 PeerConnection 和 GraphicsCaptureSession 对象
await _peerConnection.CloseAsync();
_session.Dispose();
}
}
}上述代码中，我们使用了 ScreenCapture 类来获取默认的桌面捕获项目，然后创建了 GraphicsCaptureSession 对象来捕获桌面帧。我们还使用了
Direct3D11CaptureFramePool 类来创建一个 Direct3D 11 帧池，并订阅了 FrameArrived 事件以获取最新的桌面帧。在每次收到桌面帧时，我们将其转换为 RTCVideoFrame 对象，再将其发送到 WebRTC 连接中。通过这种方式，我们就实现了桌面共享的功能。
需要注意的是，由于 WebRTC 是基于 p2p 的实时通信协议，因此本示例代码中仅演示了如何将桌面共享的数据发送给远端客户端，而没有涉及如何在远端客户端上解析和显示收到的数据。
处理 ICE 连接状态
WebRTC.Net 使用 ICE（Interactive Connectivity Establishment）协议来建立和维护客户端之间的连接。ICE 协议涉及多个状态和事件，例如 gathering、connected、disconnected 等等。应用程序可以订阅 PeerConnection 对象上的各种事件来处理这些状态。
以下代码如何订阅 PeerConnection 对象上的连接状态：
// 创建 PeerConnection 对象
var config = new PeerConnectionConfiguration { IceServers = new List<IceServer> { new IceServer { Urls = new[] { "stun:stun.l.google.com:19302" } } } };
var factory = new PeerConnectionFactory(config);
var pc = factory.CreatePeerConnection(config);// 订阅 PeerConnection 对象上的连接状态
pc.IceStateChanged += (sender, iceState) =>
{
if (iceState == IceConnectionState.Connected)
{
// 客户端已成功连接
}
else if (iceState == IceConnectionState.Disconnected)
{
// 客户端已断开连接
}
};实现多路复用
WebRTC.Net 支持实现多路复用（Multiplexing），这意味着应用程序可以在同一个数据通道上同时传输多种类型的数据，例如音频、视频、文件等。
下面是使用 WinForm 技术栈和 WebRTC.Net 库实现多路复用的示例代码。
Copy Codeusing System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;
using System.Windows.Forms;
using Microsoft.Toolkit.Win32.UI.Controls.Interop.WinRT;
using Org.WebRtc;
namespace WebRTC_Multiplexing
{
public partial class Form1 : Form
{
private PeerConnection _peerConnection;
private List<DataChannel> _dataChannels = new List<DataChannel>();
public Form1()
{
InitializeComponent();
// 初始化 WebRTC
WebRTC.Initialize(new WebRTCInitializationOptions { EnableAudioBufferLog = false });
// 创建 PeerConnectionFactory 对象
var config = new PeerConnectionConfiguration { IceServers = new[] { new IceServer { Urls = new[] { "stun:stun.l.google.com:19302" } } } };
var factory = new PeerConnectionFactory(config);
// 创建 PeerConnection 对象
_peerConnection = factory.CreatePeerConnection();
// 订阅 PeerConnection 的连接状态改变事件
_peerConnection.ConnectionStateChanged += (sender, args) =>
{
// 处理连接状态改变事件
BeginInvoke(new Action(() => txtOutput.AppendText($"连接状态：{args.NewState.ToString()}\r\n")));
};
// 订阅 PeerConnection 的数据通道回调事件
_peerConnection.DataChannelAdded += (sender, args) =>
{
// 处理数据通道回调事件
var dataChannel = args.Channel;
dataChannel.MessageReceived += DataChannel_MessageReceived;
_dataChannels.Add(dataChannel);
BeginInvoke(new Action(() => txtOutput.AppendText($"收到数据通道：{dataChannel.Label}\r\n")));
};
}
private async void btnCreateOffer_Click(object sender, EventArgs e)
{
// 创建 Offer SDP 并设置本地描述符
var offerSdp = await _peerConnection.CreateOffer();
await _peerConnection.SetLocalDescription(offerSdp);
// 发送 Offer SDP 到对端
SendSdp(offerSdp);
}
private void SendSdp(RTCSessionDescription sdp)
{
// 将 SDP 转换为 JSON 格式并发送到对端
var json = Newtonsoft.Json.JsonConvert.SerializeObject(new { type = sdp.Type, sdp = sdp.Sdp });
_dataChannels.ForEach(dc => dc.Send(json));
}
private async void DataChannel_MessageReceived(object sender, DataChannelMessageEventArgs e)
{
// 收到数据通道消息后将其转换为 RTCSessionDescription 对象
if (e.MessageType == DataMessageType.Text)
{
var text = e.Data;
var sdp = Newtonsoft.Json.JsonConvert.DeserializeObject<RTCSessionDescription>(text);
// 设置远端描述符并完成连接
await _peerConnection.SetRemoteDescription(sdp);
if (sdp.Type == RTCSessionDescriptionType.Offer) await _peerConnection.CreateAnswer();
}
}
}
}上述代码中，我们创建了一个 PeerConnectionFactory 对象和一个 PeerConnection 对象，用于建立 WebRTC 连接。我们还创建了一个 _dataChannels 列表来保存所有的数据通道对象，每当 PeerConnection 对象添加一个新的数据通道时，我们就将其添加到 _dataChannels 列表中。
在 btnCreateOffer_Click 事件处理方法中，我们创建了一个 Offer SDP 并设置本地描述符，然后将其发送到所有的数据通道对象中。当收到对端发送过来的 SDP 消息时，我们将其转换为 RTCSessionDescription 对象，并调用 SetRemoteDescription 方法设置远端描述符。如果收到来自对端的 Offer SDP，则执行 CreateAnswer 方法创建 Answer SDP 并将其发送回对端。
通过这种方式，我们就可以使用同一个 PeerConnection 对象来支持多路复用。每当需要发送数据时，只需要将数据发送到指定的数据通道对象即可。需要注意的是，在使用多路复用时，我们需要为不同的数据通道设置不同的标签（Label），以便在接收端识别不同的通道。
