如何构建低延时的直播体验，让互动更及时？

QuestMobile《2020中国移动直播行业“战疫”专题陈诉》数据显示， 疫情期间，看直播成为休闲娱乐、获取资讯、上课学习的主要方式，一些高度依赖线了局景的行业也纷纷通过直播举行自救，线上转型直播卖货，政府部门也通过直播情势举行招商、推广农产物等。电商平台在疫情期间加大对直播的支持力度，为滞销农产物直播、云卖车、云卖房、实体店直播卖货提供平台和支持。

直播破圈加速举行，除了各类网络红人外，国家博物馆、着名酒吧、景点等线下主体为网民提供线上逛博物馆、云蹦迪、云旅游服务，吸引了大批年轻用户参与。直播不再是线上娱乐内容的生产工具，而是与商业业务场景联合越来越紧密，逐渐演变为基础的业务工具。

直播的及时性和互动性让他成为信息触达、互动沟通的新前言，但直播的及时互动效果够好了吗？传统的直播技能延迟非常大，从观众批评到看到主播给出反馈一般要在5-10秒以上。我们来看下几个典型的尴尬场景：

1. 在线教育，门生提问，老师都讲到下一个知识点了，再返回往返答。
2. 电商直播，扣问宝物信息，主播“视而不理”。
3. 打赏后迟迟听不到主播的口播感谢。
4. 在别人的呐喊声知道球进了，你看的还是直播吗？

高延时影响了直播互动体验，阻碍了直播在一些场景的落地，特别在电商直播，直播间的批评提问是观众和主播互动的一个紧张本事，主播的及时互动反馈对直播间的活跃度和交易达成至关紧张。

利用通例的直播方案（rtmp 推流，FLV/RTMP/HLS 播放），延迟大概在5-10秒左右，这些延迟主要来自以下几个方面：

1. 推流侧buffer， 这部门来自于画面从传感器模数转换到音视频编码以及输出画面到网络的buffer。最主要的还是来自于编码的延迟，这与推流软件的编码参数设置有关，如是否有B帧，帧参考关系设置，压缩性能等。以OBS为例，当输出设置如下图时，延迟到达最低（1s以内）：
   

不外，上图的设置，在MAC和windows 平台上的效果也不一样，mac 平台的延迟在几百ms，而windows 可以做到50ms （实际案例数据)。推流网络方面，主播的推流网络一般都比力稳定，有的会拉专线，质量比力可靠。

1. CDN链路延迟， 这分为两部门，一部门是网络传输延迟。CDN内部有四段网络传输，假设每段网络传输带来的延迟是20ms，那这四段延迟便是100ms；此外，利用RTMP帧为传输单位，意味着每个节点都要收满一帧之后才能启动向下游转发的流程；CDN为了提拔并发性能，会有一定的优化发包计谋，会增长部门延迟。在网络抖动的场景下，延迟就更加无法控制了，可靠传输协议下，一旦有网络抖动，后续的发送流程都将阻塞，需要等待前序包的重传。
2. 播放端buffer，这个是延迟的主要泉源。公网环境千差万别，推流、CDN传输、播放接收这几个环节任何一个环节发生网络抖动，都会影响到播放端。为了对抗前边链路的抖动，播放器的通例计谋是保留6s 左右的媒体buffer。

阿里云低延时直播（Real-time Streaming）

传统的直播技能，已经不能满足对互动要求更高的直播要求，为此，2019年阿里云与淘宝直播共同推出超低延时直播服务RTS（Real-time Streaming），该方案基于WebRTC实现，采用UDP传输协议打造，实现可以承载大规模并发，端到端延时1秒内的低延时直播体验。由于RTS服务摆设于阿里云CDN节点，复用CDN的节点和网络资源，在接入成本、节点覆盖、承载本领上实现了均衡。颠末一年多的不断锻炼，整体体验和服务也更为美满和成熟。

阿里云低延时直播的技能架构：

从传输的细节来看，如下图所示：

上图与如今直播系统的架构图并无大的区别，改变的地方在于客户端到CDN节点举行播放的链路，由RTMP协议切换为RTP协议，TCP协议换成UDP协议。RTS服务举行了服务与节点双重升级，同时针对全链路直播指标举行监控和针对性优化，以及通过智能调度系统以及网络拥塞、抗弱网优化、缓冲计谋等举行一系列底层核心技能优化，实现RTP over UDP更好地对抗公网的丢包，使得播放器上收到的流质量相对RTMP over TCP更加稳定，如许一来，播放器就可以降低buffer，不消像从前那样设置6s 的buffer来对抗抖动，如今只需要设置1秒左右就OK了，整体延时可以控制在1-1.5S左右。

如何接入RTS服务：

RTS目条件供两种接入服务：1、基于WebRTC开放协议升级网络模块对于自研播放器大概利用开源播放器的用户，阿里云提供与标准WebRTC协议对接方案，在现有的直播业务新增一个RTS播流域名，一个推流两种方式拉流。推流侧不消改造，仅升级播放器网络模块，拉取超低延时流播放，如许让底层网络对接更透明开放，客户端自主可控。

上图是普通播放器的架构。播放器利用 FFmpeg 打开网络毗连，读取音视频帧后会放入播放器缓冲，之后会依次对它举行解码、音视频同步及渲染。

接入低延迟直播系统后，整体架构如图下面部门：FFmpeg 增长低延迟直播插件支持私有协议；将播放器的缓冲设置为1秒，FFmpeg 输出的音视频帧直接送入解码器举行解码，然后同步，渲染。

另外，RTS网络SDK为播放器接入阿里云低成本多协议低延时网络传输基础设施提接口。该SDK具有非常友好的API，非常稳定的设计，在音视频同步，秒开，流畅度等指标也做了很多优化。API设计上提供了ffmpeg demux插件，可以像调用其他ffmpeg demux插件一样被集成进应用步调，另外也提供非ffmpeg接口。

2. 集成阿里云RTS播放器

利用第二种方法，可以更加速速的实现RTS服务，即在现有的直播业务新增一个RTS播流域名，然后集成阿里云播放SDK，用户端通过不同URL参数播放器主动辨认，即可实现低延时直播服务。阿里云播放器是一个通用的播放器sdk，除了支持点播和直播的播放功能外，深度融合视频云业务，如支持视频的加密播放、安全下载、清晰度切换、短视频等业务场景，为用户提供简单、快速、安全、稳定的视频播放服务。

结束语履历证，阿里云RTS直播核心指标体现优秀：相同卡顿率下，RTS直播延时降低75%，并且在相同网络延时和丢包率指标下，RTS直播播放成功率、卡顿率、秒开率等指标体现均有所提拔，大幅优化直播体验。RTS已经在淘宝直播中大规模应用，降低了淘宝直播的延迟，提拔了用户的互动体验，颠末线上验证发现，低延迟直播对电商直播的成交有显着的促进作用，此中 UV 转化率提拔4%，GMV 提拔5%。现在在一些教育行业、电商、游戏直播等领域，已经有众多着名客户接入RTS服务并上线。