重新定义低延迟——基于JPEG2000的第二代 AV-over-IP 解决方案

在深压缩(H.264/H.265)、光纤分布式与浅压缩方案激烈竞争的格局下,北格逻辑推出第二代AV-over-IP方案,以FPGA+JPEG2000为核心技术引擎,针对专业视听场景重新定义浅压缩性能标准。

方案概述

我们的方案是基于 FPGA 的 AV-over-IP 解决方案,采用 JPEG2000 编解码算法,以核心板的形式为视频分布式应用提供完整功能支持。我们为用户准备了全面的文档资料以及 SDK。当核心板烧录好编码器或解码器的固件后,用户能够像使用普通 SOC 一样,便捷地对 FPGA 的功能进行配置。与普通的 AV-over-IP ASIC 相比,我们融入了视频分布式所必需的特色功能,例如 USB 鼠键透传、4K 双码流、OSD、窗口漫游、画中画等,可将其视作专门为浅压缩分布式定制的芯片方案。接下来,将详细介绍该方案中那些独具特色的技术亮点。

图1.第二代AV-over-IP应用框图.png

图1.第二代AV-over-IP应用框图

真・低延迟

浅压缩相较于深压缩,其核心优势之一便在于低延迟特性。我们采用的 JPEG2000 编解码技术,能够实现端到端仅半帧的延迟。在 4K@60fps 的视频传输条件下,延迟稳定维持在 8.5ms。为何要着重强调端到端以及稳定无波动的 8.5ms 延迟呢?此前,我们的客户反馈,产品在运行过程中出现延迟波动的情况,比如随着运行时间增大,端到端延迟在8.5ms~25.5ms之间波动;还有客户提到,在切换视频源后,新视频源的显示延迟明显变大。实际上,我们的编解码器本身延迟控制极为精准,由于采用帧内算法,无需参考前向帧和后向帧,编解码延迟波动能够控制在几十微秒级别。经分析,导致上述延迟波动的主要原因有两点:其一,HDMI 接口输出具有帧传输Timing,在切换视频源时,如果上一帧刚开始发送,为避免黑屏,需将上一帧发送完毕后才开始发送新视频,这就使得端到端延迟在编解码器延迟基础上增加了近一帧,达到 25.5ms;其二,解码器上 HDMI 发送接口的帧率与编码器上 HDMI 接收接口的帧率存在频差,例如当 HDMI 发送帧率比 HDMI 接收帧率慢时,延迟会不断累加,直至累计延迟达到一帧,此时丢弃一帧画面后,延迟才会恢复到最小值,随后又开始新一轮的累加,在此过程中端到端延迟持续波动。

为有效解决这些问题,我们在第二代 AV-over-IP 方案中加入了 HDMI 帧率调整功能。解码器通过跟踪输入视频帧率,将 HDMI 发送帧率调整至与输入视频帧率一致,从而避免因 HDMI 接口导致的延迟波动。同时,在视频源切换时,如果切换时间点并非上一帧刚好结束,我们可通过调整 HDMI 发送速率,使整个系统的延迟在约 3 分钟内恢复到半帧的理想延迟状态。

纯・视觉无损

在常见的帧内压缩编码算法中,JPEG2000 在相同压缩倍数下,拥有极为出色的画质表现,这也是其被广泛应用于数字电影、医疗图像等对画质要求极高领域的原因。JPEG2000 以较大的计算量为代价,实现了卓越的压缩效果。它首先采用 3 - 6 级二维小波变换对图像进行高低频子带划分,接着运用位平面编码和算术编码进行压缩,最后通过率失真算法在整幅图像范围内寻求最佳码率分配方案,从而获得最优的压缩效果。

与之对比,JPEG XS (Base)仅进行了一次垂直方向和 5 次水平方向的小波变换,垂直方向的高低频分量未能充分分离,不利于后续的熵编码压缩;而且 JPEG XS 的码率控制机制仅在原图的若干行(2 - 4 行)范围内进行码率分配,当整幅图像不同区域的复杂程度存在差异时,会出现部分区域画质损失严重,而部分区域码率分配过剩甚至需要填充以维持稳定码率的情况。

在JPEG2000 本身出色的压缩效果的基础之上,我们在第二代AV-over-IP方案中,嵌入了编码增强技术,可使 JPEG2000 编解码的信噪比 PSNR 提高 50%,在 25 倍压缩时能够实现真正意义上的视觉无损(PSNR>=40)。

图2.JPEG-XS与JPEG2000信噪比对比.png

图2.JPEG-XS与JPEG2000信噪比对比

超・稳定码率

我们常听闻 H.264 能够将视频压缩约 150 倍,但实际上这只是一个宏观的平均效果。具体而言,对于其中的 I 帧,压缩倍数大约在 5-10 倍,而对于 B 帧,压缩倍数则可高达 200 倍以上。为实现流畅播放,通常只有两个选择:要么不限制网络传输带宽,在传输 I 帧时占用较大带宽以快速传输;要么增加延迟,使用固定网络带宽传输 I 帧。对于 H.264 来说,稳定码率和低延迟就如同鱼和熊掌难以兼得,即便在两者之间寻求平衡,传输 H.264 的网络带宽依然会存在波动,并且由于 I 帧、P 帧、B 帧解码之间存在相互依赖关系,在 150 倍压缩下,H.264 一般会产生 4 帧以上的延迟。

在我们的方案中,由于 JPEG2000 采用帧内压缩,每一帧压缩后的大小固定,其传输延迟和输出码率完全恒定。同时,为确保网络传输过程对交换机友好,我们采用了一套与 ST2110 类似的平滑传输技术,保证网络带宽在 10 微秒级别都能保持稳定。当多路视频流在交换机中汇聚到同一个解码器的网口时,不会因流量突发而导致丢包现象。

4K 双码流

此功能是针对使用 H.264 I 帧的浅压缩方案以及基于 ASIC 的浅压缩方案的一项重要优势。对于这些方案,其编解码核最多仅支持 1 路 4K60,无法在解码端实现双 4K 码流,因而也无法在解码端实现多码率拼接、漫游、无感切换等功能。

OSD 与 USB 鼠键透传

这一特色功能是针对基于 ASIC 的浅压缩方案的又一显著优势。由于这类方案并非专门针对视频分布式市场设计,一些视频分布式应用所特有的需求,如 OSD 与 USB 鼠键透传功能,它们并不具备。

下表是北格逻辑AV-over-IP方案的详细规格:

功能

参数

视频输入

HDMI2.0:4096x2160@60fps,向下兼容

视频输出

HDMI2.0:4096x2160@60fps,向下兼容

音频输入

HDMI内嵌数字音频I2S模拟音频

音频输出

HDMI内嵌数字音频I2S模拟音频

串口

Mini USB

USB

USB 2.0 HOST  x2、USB 2.0 SLAVE x2

网络

RGMII x2、10GBASER X1

视频编码性能

4096x2160@60fps x1或1080P@60fps x1

视频解码性能

4096x2160@60fps x2或1080P@60fps x8

音频采样频率

48K

端到端延迟

8.5ms

网络传输

单播/组播

颜色空间

RGB、YUV444、YUV422

色深

8、10、12比特

压缩倍数

1-27

图像裁剪

支持

图像缩放

支持

多屏同步

误差<2ms

开窗数

8

OSD

支持

视频漫游

支持

视频源切换

无黑屏

EDID管理

支持

USB透传

支持

音视频传输分离

支持,音视频传输独立

我们基于 JPEG2000 的第二代 AV-over-IP 解决方案,凭借低延迟、视觉无损、稳定码率、4K 双码流等一系列独特技术优势,在竞争激烈的分布式市场中具备强大的竞争力,有望为用户带来卓越的视频分布式应用体验,突破市场重围,赢得广阔的发展空间。请联系我们,为您打造下一代行业标杆级浅压缩分布式产品。

文章来源:北格逻辑

最新文章

最新文章