FPGA图像处理平台搭建：MIPI + VDMA + Ethernet全流程

judy 在周四, 04/16/2026 - 09:50 提交

本文转载自：OpenFPGA

基于 MicroBlaze V 的 FPGA 视觉平台：通过以太网实时捕获、调试和传输 MIPI 相机数据，支持全帧或高速 ROI 范围。

介绍
图像处理是FPGA的常见应用之一。其灵活的I/O接口使其能够与各种摄像头和传感器进行交互，包括MIPI、Camera Link、并行接口以及DVI/HDMI接口。

可编程逻辑的并行特性使得图像处理流水线能够直接并行实现，从而提高确定性并降低延迟。

在开发图像处理算法时，我们通常可以使用更高级别的框架，例如 Vitis HLS 或 MathWorks Simulink。

虽然看到算法在模拟环境中运行很棒，但最好还是看到它们在实际硬件上运行，才能确定自己设计的算法是否合理。

所以决定创建一个图像处理系统，方便随时添加新的图像处理核心。该系统能够利用多个MIPI摄像头。

图像处理流程对图像执行简单的处理阶段，例如去马赛克，然后通过以太网提供图像，以便检查算法性能。

由于目的是评估算法性能，因此通过以太网链路发送的图像数据没有进行压缩。

为了能够评估来自摄像机的实时视频，该设计将能够从整体图像中抽取较小的窗口进行流式传输。

硬件选择
在这个项目中，将使用 Artix UltraScale+ 15P FPGA，以及 2GB DDR4、10/100 以太网、SFP+ 插槽和 HDMI Rx 和 Tx。

在外部连接方面，还会利用 FMC LPC（https://camerafmc.com/）。

为了使 FPGA 板上最多可连接两个 MIPI 摄像头，我们使用了摄像头 FMC模块。该 FMC 模块最多可连接四个 MIPI 摄像头到 AMD 开发板上，具体数量取决于所用开发板，因为不同开发板的 I/O 引脚排列方式不同。

架构
该解决方案的整体架构如下所示。其中包括树莓派摄像头、Demosaic 和 AXI VDMA，后者将图像存储在 DDR4 帧缓冲区中。

然后，MicroBlaze V 处理器将使用 LWIP 从帧缓冲区读取图像，并通过 AXI Ethernet Lite 以以太网方式输出。

MicroBlaze V 还将负责启用和配置树莓派摄像头。为此，它使用了 AXI IIC 和 GPIO 模块。

帧的抓取、显示和控制流帧由运行在客户端 PC 上的 Python 应用程序控制。

硬件设计
该项目以 MicroBlaze V 处理器为核心构建，该处理器本身连接到以下 IP 核。

AXI UART Lite - 支持状态报告

AXI Ethernet Lite - 以 100 Mbps 的速度连接到主机

AXI timer - 轻量级 IP 堆栈的必需组件

AXI GPIO - 控制树莓派摄像头的电源启用

AXI IIC - 配置 RPI 摄像头。

AXI Interrupt Controller - 处理来自IIC、以太网精简版和定时器的中断

完整的设计如下所示，也可在Github上找到（链接在最后）。

图像处理流程包括：

MIPI CSI2 RX Subsystem - 该子系统配置为支持 RAW10 位像素和 2 条 MIPI 通道。该模块在 PL 设计中也直接启用。

Demosaic - 配置为将 RAW10 像素转换为 30 位（RGB）颜色通道

AXIS Subset Convertor - 该转换器接收 30 位像素，并提取绿色通道的 8 位最高有效位。绿色通道包含灰度图像所需的大部分光照强度信息。

VDMA - 配置为写入 DDR4 帧缓冲区。

时钟频率分配很简单，MicroBlaze V 的时钟频率为 300 MHz，由 DDR MIG 输出（图中以绿色显示）。DPHY 和视频流水线使用 200 MHz（图中以粉色显示），100 MHz（图中以蓝色显示）也需要使用。

下一步是设计运行在 MicroBlaze V 上的嵌入式软件。

嵌入式软件
该应用软件其中最重要的包括配置 RPI 摄像头和运行用于以太网通信的 LWIP 协议栈。

软件应用程序的概览如下所示，其结构简单明了：首先初始化 LWIP 和相机，然后再启动图像处理流程。流程初始化完成后，程序将采集图像，并运行主 LWIP 处理器，等待 Python 应用程序的指令。

应用程序软件已上传至GitHub（链接在最后），其中包含四个主要文件：app.c、app.h、imx_219_cam.c 和 imx219_cam.h。

imx219_cam.c 和 imx219_cam.h
通过 AXI IIC 处理 IMX219 相机传感器的启动。

初始化序列通过 AXI GPIO 对摄像头进行断电重启，并初始化 AXI IIC 内核。然后，它通过读取型号 ID (0x0219) 来验证传感器是否响应 IIC 命令。

app.c和app.h
该主要应用程序包含五个主要要素：

平台初始化程序会设置 AXI 中断控制器并将其连接到 MicroBlaze-V 异常处理系统。该程序未使用定时器，lwIP 以纯轮询模式运行，这足以满足 UDP 的需求。

网络初始化函数在启动序列的早期被调用，因为在 PHY 自动协商期间 xemac_add 会阻塞。通过先执行此操作，可以在相机上电和配置期间建立以太网链路。lwIP RAW API 与绑定到端口 5001 的 UDP PCB 一起使用。

Camera Init调用 IMX219_Init，该 IMX219_Init 处理完整的电源循环和 I2C 配置序列。

捕获数据流初始化首先启动去马赛克（以便在 VDMA 读取视频流之前正确格式化视频流），等待 100 ms使其同步，然后配置并启动 VDMA S2MM 通道，该通道使用 DDR4 内存和三帧缓冲区。如果 VDMA 报告 IntErr（由于捕获到部分首帧），它会自动重置并重新启动 VDMA 以进行恢复。

主循环轮询 xemacif_input 以获取传入的 UDP 数据包。

UDP帧协议使用带有每个数据包序列号和字节偏移量的格式，以便即使数据包丢失，接收方也能正确放置数据。

每个数据包包含一个 12 字节的头部，后跟最多 1460 字节的像素数据。帧头部包含数据包总数和帧大小，以便接收器了解预期接收的数据。由于 AXI Ethernet Lite 只有一个发送缓冲区，因此数据包以 2 毫秒的间隔发送。