为手术和胃肠道视频内窥镜增强视觉系统提供智能性和最佳性能功耗比
预防医学与微创外科手术的发展正在推动内窥镜系统增强功能需求的发展。传统多芯片实现方案会产生时延问题,会对现代内窥镜所需的低延时、高带宽及计算密集型功能造成负面影响。
一款典型的内窥镜系统包括具有光源和摄像机头的内窥镜、摄像机控制单元 (CCU) 以及图像管理单元。
摄像机头与光源相连。插入带有摄像机和光源的内窥镜,对相关区域进行摄像。
在摄像机控制单元 (CCU) 中对图像信号进行处理后,可捕获未压缩的原始图像并实时或近乎实时地显示在一个或多个显示器上。视频或图像可压缩并以各种格式存储在 DVR 或其它存储介质中,供以后使用和留存。
在诊断 GI 视频内窥镜中,图像的捕获、传输、预处理和显示的时延要求为 50~150 毫秒。使用内窥镜的外科手术需要实时或近乎实时的响应。各种图片校正、颜色及噪声校正之后,再进行边缘增强和缩放。
通常,图像管理单元将执行视频处理,如编解码、jpeg 转换、图像覆盖、操作、图中图片以及其它功能,并将压缩和存储图像,以备将来使用。
设计范例
本设计范例主要讨论使用 Xilinx 解决方案构建 4K 视频内窥镜。如上文所述,内窥镜系统所具备的处理系统通常包括光源和摄像机头、摄像机控制单元 (CCU) 和图像管理单元。该系统支持双 4K 视频流。
摄像机头部的双 4k 图像传感器可进行图像采集,而图像信号处理则在 Xilinx FPGA/SOC 中完成。
然后,视频流被馈送到一个或多个级联 FPGA-SoC(如 Xilinx UltraScale 或 UltraScale+ 器件)进行图像预处理,这些视频流通过一个 DisplayPort 或四通道 SDI 接口实时显示到高清 4K 显示器上,供外科医生查看。摄像机控制单元执行图像、色彩和噪声校正,包括白平衡、自动调节亮度、增益控制以及 IRIS 控制等。这里显示了一些典型的预处理功能。为预处理功能进行分区的方法各异,主要看使用什么 FPGA 以及可在原始图像上执行什么功能。
使用 Zynq Ultrascale+ 等 Xilinx SoC-FPGA 器件,具有几个明显的优势:
作为后处理的一部分,可使用带有内建视频编解码器引擎的 SOC(如 ZU+ MPSOC)对原始视频执行各种图像管理功能。目前,Xilinx 解决方案具有显著的平台商机,有望成为视频内窥镜检查处理系统的主要部件。
通常,FPGA 可通过 ASSP 设备为图像预处理功能提供更高的性能、带宽及实时功能。GPU 广泛用于后端图像处理,但 Xilinx FPGA 的功耗可能会显著低于使用 GPU 的应用。
此外,与同类竞争 GPU 或处理器不同,Xilinx 专注于临床设备所需的可靠性、安全性、保密性以及长期的使用寿命支持。