现场信号超低延时直播的设计

时间:2022-07-27 11:27:09

导语:现场信号超低延时直播的设计一文来源于网友上传,不代表本站观点,若需要原创文章可咨询客服老师,欢迎参考。

现场信号超低延时直播的设计

摘要:本文介绍了模拟信号、DVB数字信号和基于互联网协议3种直播信号传输技术方案,分析比较了SRT与WebRTC两种传输协议,歌华有线应用WebRTC协议完成北京冬奥场馆超低延时直播系统研发,为冬奥赛事直播提供了有力保障,也为后续广电网络运营商IP化改造提供了有力技术支持。

关键词:冬奥会;超低延时;视频直播

1引言

冬奥场馆体育赛事的直播须兼顾实时性和流畅性,不仅时延要低,还要保障赛事直播视频的流畅性和清晰度。同时,直播系统要兼顾“节俭办奥运”的主旨,基于有线电视网络的传输环境,满足用户使用电脑、手机、平板等智能终端进行观看的需求。

2技术方案

不同技术方案呈现效果与实现路径差异较大,基于当前有线电视网络背景,我们选取了3种技术手段,分别是使用模拟信号、DVB数字信号和互联网协议传输直播视频数据,并搭建对比环境,从多种维度考察这3种技术方案的优缺点。

2.1模拟信号传输方案

北京2008年奥运会时,为应对奥运会场馆超低时延直播需求,采用了模拟信号传输的方案,较好地完成了直播工作,如图1所示。Compound区提供本场馆的多套HD-SDI基带信号,配置SDI光发机传输至有线电视机房,使用SDI光收机完成HD-SDI基带信号接收。经过SDI转AV转换器将数字HD-SDI基带信号转换为模拟AV信号,并使用模拟调制器完成模拟电视射频信号调制。经有线同轴分配网传输至各接收终端,终端电视机可以直接收看低延时模拟信号。该技术方案相对成熟,时延低,故障率低,维护简单,易于使用,但清晰度低,已经无法适应当下观众对赛事视频收看清晰度的要求,亦无法满足多样化终端带来的收看需求,且设备赛后不可回收再利用,不符合节俭办冬奥的主旨。

2.2数字DVB传输方案

除模拟信号传输技术,亦可考虑使用数字DVB传输技术实现赛事的本地低延时信号传输。如要保证350ms以下的端到端时延,则需要SDI编码器、传输处理设备、机顶盒等均具备低延时特性。数字DVB低延时信号处理如图2所示。Compound区可提供本场馆的多套HD-SDI基带信号,配置SDI光发机传输至有线电视机房,使用SDI光收机完成HD-SDI基带信号接收。经过SDI低延时编码器将数字HD-SDI基带信号转换为IP信号,并使用IPQAM调制器完成数字电视射频信号调制。将数字射频信号与专网数字电视射频信号混合后,经同一张有线同轴分配网传输至各接收终端。终端电视机可以通过机顶盒收看低延时数字信号,同时还可收看专网数字电视信号。从运维角度来说,该方案机房内设备操作较模拟处理设备复杂,需要一定专业知识,同时场馆内终端机顶盒数量较大,会增加维护量。此外,根据时延测试结果,使用歌华普通高清机顶盒观看,端到端时延在620~1240ms;使用歌华4K高清机顶盒观看,端到端时延在400~660ms,达不到小于350ms时延的目标。

2.3基于互联网协议的传输方案

随着视频领域的不断创新,大量的直播业务涌现,同时用户对体验要求越来越高,推动了低时延、高码率IP直播技术的发展。为了逼近时延的极限,这些方案不约而同地都选择了基于UDP协议的视频传输,如QUIC、SRT和WebRTC。近年来,随着对GoogleQUIC协议研究的深入,不少项目开始用RTMPoverQUIC替代传统的RTMPoverTCP。QUIC已成为HTTP3的标准协议,在超低时延传输方面有很多优势,最重要的就是其复杂度非常低。但QUIC作为低延时直播协议也有2个缺点:第一,其本质上是一个可靠协议,无法便捷的主动控制协议延时;第二,QUIC是传输层的通用协议,无法针对音视频提供端到端的优化方案。除QUIC,还有2种专门针对视频场景优化的超低时延传输协议,即SRT和WebRTC,二者是基于UDP协议实现的超低时延视频传输解决方案。下面将对这两种方案进行比较,并介绍歌华有线在冬奥项目中的应用情况。

3SRT与WebRTC分析比较

3.1优点比较

在安全方面,SRT支持AES加密,保障端到端的视频传输安全;在可靠性方面,SRT通过前向纠正技术(FEC)保证传输的稳定性;在低时延方面,SRT底层使用UDT协议,UDT协议是一个基于UDP的可靠传输协议,但原生的UDT传输延迟较高,SRT在此基础上优化了相关拥塞控制策略,以降低传输时延。当前,SRT在跨国传输场景下有不少的应用,取代了一些过去需要使用卫星作为传输媒介的场景。WebRTC主要用于Web端实时音视频通信的互联网协议,应用层有JS的接口,使得Web网页具备音视频的采集和播放能力。此外,WebRTC的传输协议还支持P2P传输,提供了DataChannel,用于应用层传输其他的数据,便于对直播增加交互等扩展功能。

3.2抗抖动性比较

视频超低时延传输的核心挑战是保证播放流畅度,除了提升传输通道可靠性,还需要传输协议具备良好的抗抖动性,在保持低延迟的同时稳定播放。SRT的解决方法是设置一个固定的Latency,并在每个包头写入发送时间,在读取时,按照发送时间延迟Latency读取,复制编码器的输出。WebRTC则使用JitterBuffer来对抗网络抖动,其实现原理与SRT的方法类似,但有2个不同点:一是根据当前网络抖动的程度来调整延迟,网络越稳定,延迟越小;二是从JitterBuffer出来的帧,尽量保证以均匀的速率输出,但不一定与发送方编码器输出一致。SRT的Tsbpd机制可以精准地控制Latency,结合重传机制,相对于其他协议有更低的延迟,缺点是不能动态调整。WebRTC将传输抖动和编码渲染结合相互反馈调整,过程相对复杂。综上所述,二者在核心抗网络抖动和传输上性能基本接近,但WebRTC优点是其在各个平台上都有相应的成熟SDK,可以极大地减少整个系统的开发、升级和维护,同时解决不同终端播放的兼容性问题。因此,最终选择WebRTC协议完成冬奥赛事的超低延时直播系统研发。

4WebRTC协议的应用

根据服务规划及北京冬奥组委的相关要求,计划在竞赛场馆和鸟巢为固定座席提供毫秒级超低时延直播服务,并在部分场馆提供基于5G网络的无线接入超低时延无线CATV服务,观众将不再因为短暂离席或座位角度欠佳错过关键比赛内容,为观众带来更好的观赛体验。4.1主要流程在本项目中,基于WebRTC典型的工作流程如图3所示。客户端A:WebRTC的客户端,此处特指机顶盒设备或浏览器终端。RTCSTUN:WebRTC的STUN服务,用于客户端与服务端之间建立双向通信通道。RTC信令系统:WebRTC的信令服务,用于交换客户端与RTC媒体系统之间的控制信令。RTC媒体系统:用于实现面向客户端的高并发流媒体服务。(1)客户端A首先创建PeerConnection对象,打开本地音视频设备,将音视频数据封装成MediaStream,添加到PeerConnection中。(2)客户端A调用PeerConnection的CreateOffer方法创建一个用于Offer的SDP对象,并保存当前音视频的相关参数。通过PeerConnection的SetLocalDescription方法保存该SDP对象,并通过Signal服务器发送给媒体系统。(3)RTC媒体系统接收到客户端A发送过的OfferSDP对象,通过PeerConnection的SetRemoteDescription方法将其保存起来,并调用PeerConnection的CreateAnswer方法创建一个应答的SDP对象,通过PeerConnection的SetLocalDescription的方法保存该应答SDP对象并将它通过Signal服务器发送给客户端A。(4)客户端A接收到RTC媒体系统发送过来的应答SDP对象,将其通过PeerConnection的SetRemoteDescription方法保存起来。(5)在SDP信息的Offer/Answer流程中,客户端A和RTC媒体系统已经根据SDP信息创建好相应的音频Channel和视频Channel并开启Candidate数据的收集,Candidate数据可以简单地理解成Client端的IP地址信息(本地IP地址、公网IP地址、Relay服务端分配的地址)。(6)当客户端A收集到Candidate信息后,PeerConnection会通过OnIceCandidate接口给客户端A发送通知,客户端A将收到的Candidate信息通过Signal服务器发送给RTC媒体系统,RTC媒体系统通过PeerConnection的AddIceCandidate方法保存起来。同样的操作RTC媒体系统对客户端A再来一次。(7)这样,客户端A和RTC媒体系统就建立了音视频传输的点对点通道,客户端A接收到RTC媒体系统传送过来的音视频流,会通过PeerConnection的OnAddStream回调接口返回一个标识RTC媒体系统音视频流的MediaStream对象,在客户端A渲染出来即可。4.2实现效果最终,经过全流程调优,在使用指定1080i50信源的情况下,编码时延80ms,分发时延40~60ms,IP传输5~10ms,终端缓存解码时延100~120ms,电视机时延35~70ms,除去差异较大的显示终端,端到端时延控制在300ms以内,实现了对异构终端、异构网络的覆盖,达成了项目预期目标。当然,WebRTC方案也存在一些缺点,比如不支持音频AAC编码和44.1KHz采样率;不支持视频B帧、H265等编码特性,对多slice编码支持性较差;在QoS策略方面,WebRTC的原生应用场景是通话,基本策略是延迟优于画质,这个策略在直播中不一定成立。因此,在后期存在一定的定制化优化改造空间,即在保留WebRTC核心传输相关模块(RTP/RTCP、FEC、NACK、Jitterbuffer、音视频同步、拥塞控制等)的基础上,利用定制化播放器封装以上WebRTC的核心功能,解决以上存在的缺陷,在可控终端或者自有APP中实现更好的播出效果。

5结语

歌华有线通过对超低时延直播相关领域的研究,比较了现有各种直播标准、协议的优劣,再有针对性地对最终选型结果的信源编码、传输、终端解码全流程进行测试和调优,确保端到端时延在350ms以内,实现了异构终端和异构网络下的业务分发,完成了项目设计要求,为后续广电网络运营商的IP化改造提供了知识和技术支持。

参考文献

[1]屈振华,李慧云,张海涛,等.WebRTC技术初探[J].电信科学,2012,28(10):106-110.

[2]何明亮.WebRTC技术的研究与应用[D].南京:南京邮电大学,2014.

作者:杨敬一 张辰 单位:北京歌华有线电视网络股份有限公司