本文转载自：LiveVideoStack
编者按：在音视频编解码领域，以H.264/H.265为代表的深压缩编解码算法一直占据着行业的主流。随着视频编解码的需求增多，浅压缩算法逐渐得到了重视。JPEG 2000曾获认为是未来取代JPEG的下一代图像压缩标准相较于主流的潜压缩JPEG来说，JPEG 2000压缩比更高，体积更小，并能同时支持有损/无损两种压缩方式。
北格逻辑是专注于FPGA的音视频解决方案提供商，其提供的JPEG2000编解码算法能够在25倍压缩下实现视觉无损，延迟小于8.5ms，是在标准算法的基础上，针对视频浅压缩应用做了深入优化，充分体现了浅压缩模式下的低延迟和高画质。
那么，目前JPEG 2000的应用场景如何了？在FPGA的帮助下，浅压缩算法是否会往主流压缩算法更进一步呢？以下，是LiveVideoStack与北格逻辑的对话。
LiveVideoStack：周毅华老师您好，可以跟我们简单介绍下JPEG 2000的主要应用场景吗？以及它是如何与其他视频处理模块相结合的呢？
周毅华 目前，JPEG2000的主要应用场景包括：数字电影的发行放映、分布式视频的浅压缩应用、医疗设备的图像存储、雷达等专业图像存储等。JPEG2000的优势在于画质好，在这些要求画面清晰度高的场景下，能够得到广泛的应用。而在视频分布式以及KVM应用中，JPEG2000低延迟的特性也是非常重要的，可以解决H.264等深压缩算法鼠键操作延迟大的痛点。
目前的话，北格逻辑的JPEG2000 IP主要应用于AV over IP应用场景，包括视频分布式以及无线图传等。视频从编码器的HDMI/LVDS等视频接口输入后，直接送入JPEG2000 编码IP进行处理，编码后的数据流经过网络（有线或无线、单播或组播）传递到解码器，然后送入JPEG2000解码IP，还原成视频流，再经过VPSS模块进行裁剪、缩放、开窗、图层管理等处理后，从HDMI/LVDS等视频输出接口输出，在显示器上显示。
LiveVideoStack：在开发JPEG2000的过程中，您有哪些心得体会？FPGA为实现部署带来了怎样的帮助？
周毅华 JPEG2000标准的码率控制算法是一个开放性的规范，只给出了推荐方案。规范推荐的码率控制方案计算量非常大，延迟也超过一帧，无法充分体现浅压缩方案的低延迟特性。所以这方面我们花费了大量的心血，在最大程度保障画质的前提下，将延迟控制在了半帧以内，将方案改造成非常适合视频分布式应用场景。整个过程是一个不断迭代、时间跨度长、画质不断优化的过程。
我们最大的心得体会就是：一个好的编解码IP，一定是不断打磨出来的，不是一蹴而就的。因为FPGA的可编程特性，我们可以不断的、快速的更新我们的版本，让客户能够使用到最新最好的编解码IP；同时我们可以提供不同处理性能的版本给客户，有直接处理8k的，也有720P的，只要选合适容量的FPGA即可。这些都是ASIC方案不具备的。
LiveVideoStack：如何将不同解码器（例如JPEG2000和H.264）解码出的图像混合在同一个大屏上显示？这个过程中有哪些技术难点，最终呈现效果又是如何呢？
周毅华 我们有一个强大的VPSS模块，是为了视频分布式应用场景而专门打造的，可以支持最多16路视频输入，这些视频可以是JPEG2000解码出来的，也可以是H.264解码出来的，它们分别进行裁剪、缩放后在大屏上开窗显示，可以任意指定视频的位置和图层。
对我们来说，最大的技术难点是多路视频开窗显示需要先把视频存入到内存（DDR3/DDR4）的，怎么样提高内存带宽利用率，怎么样让各个内存读写接口都能分配到合理的带宽，保证视频能够流畅的播放。我们花费大量的时间，去优化内存的读写效率、多接口读写调度和带宽分配、内部buff的深度，最终达到的效果在有限的内存带宽下，多路视频同时开窗时都能够流畅的播放。
LiveVideoStack：您认为未来（五年内）视频编解码技术会达到怎样的进步？
周毅华 深压缩和浅压缩代表着编解码算法的两种发展方向。以H.264/H.265为代表的深压缩算法，在画质不降低的情况下，追求更高的压缩倍数，新一代深压缩算法H.266有可能在5年内实现商用。而随着4K/8K分辨率的普及，以及用户对高清画质和超低延迟的需求，广电领域对夹层编码的需求，也会让以JPEG XS和JPEG2000为代表浅压缩算法得到广泛的应用；同时，针对不同的应用场景，也会有新的、更好的浅压缩编解码算法出现，已有的浅压缩算法也会不断迭代，以满足应用需求。
LiveVideoStack：可否透露一下贵司对FPGA及相关技术的未来展望以及后续对FPGA技术的应用呢？
周毅华 北格逻辑未来会持续在音视频领域深入耕耘，打造全系列的基于FPGA的浅压缩编解码算法，包括JPEG2000、JPEG XS、DSC和Huffman-diff等等，压缩倍数从2-3倍、6-10倍、15-25倍全覆盖，追求更高的画质和更低的延迟。同时围绕着这些编解码IP，北格逻辑会完善包括视频输入输出接口、VPSS、视频网络传输协议等在内的视频类IP，客户可以使用我们的IP快速搭建出自己的视频处理系统。
LiveVideoStack：在10月19日AMD的技术与方案专题研讨会上，您会带来哪些分享，可否跟我们的读者剧透一下呢？
周毅华 10月19日的专题研讨会，我首先会介绍一下北格这边已有的一些音视频类IP（包括ISP、编解码、VPSS、3D LUT等），然后重点讲一讲北格逻辑JPEG2000的特点，以及与H.264/JPEG XS的对比；最后结合视频分布式/KVM的应用场景，介绍如何在FPGA内用这些IP打造一个高性能、高画质、低延迟的视频传输系统。
