跳转到主要内容

从传感器到洞察:可投入量产的单芯片边缘 AI,业经验证

卓越的平台不仅取决于芯片本身,还取决于能够充分释放其潜力的软件生态系统。推出第二代 AMD Versal AI Edge 系列产品时,我们希望通过一款涵盖预处理、AI 推理和后处理的统一 AI 平台,重新定义边缘 AI 和物理 AI。如今,AMD Vitis™ AI 这一面向 AMD 自适应 SoC 的统一 AI 工具链已具备量产部署能力,让这一愿景成为现实。

随着第二代 AMD Versal AI Edge 系列所有器件均已投入量产,开发者可以摆脱多芯片方案的复杂性,在边缘端实现真正的单芯片智能。第二代 Versal AI Edge 系列在一个平台上融合了实时传感器处理、高能效 AI 推理和高性能嵌入式计算,在简化系统设计的同时,实现高性能和高效率。搭配 Vitis AI,该平台将“单芯片端到端 AI 加速”的愿景转化为可用于量产部署的现实,从而提供了规模化部署边缘 AI 和物理 AI 所需的模型支持、成熟软件以及经过验证的推理性能。

在限制中创新:边缘 AI 和物理 AI 面临的挑战

边缘 AI 和物理 AI 的部署必须在严格的功耗、散热、内存和计算资源限制内运行。同时,它们还要求整个处理流水线具备确定性时延和高可靠性,而不只是 AI 加速器。从高级驾驶辅助系统和自主机器人到医学成像等应用,AI 系统被寄望在严苛的运行环境中处理多路传感器数据流、实时执行 AI 推理,并提供可用于指导行动的洞察。

在物理 AI 中,感知、处理和行动构成的闭环进一步增加了系统复杂性。因此,成功的关键不在于单个处理单元的性能,而在于整个 AI 流水线作为统一系统运行时的效率。此外,漫长的部署生命周期要求这类系统能够适应不断演进的传感器、接口和 AI 工作负载,而无需付出高昂的重新设计成本。

这些要求共同推动了对高度集成平台的需求:既能在整个 AI 流水线上提供一致、可预测的性能,又能保持灵活性,支持不断演进的应用需求。

第二代 AMD Versal AI Edge 系列:以异构计算实现单芯片端到端加速

第二代 Versal AI Edge 系列专为边缘 AI 和物理 AI 打造,通过在单个自适应 SoC 中集成异构计算能力,将 AI 流水线的每个阶段匹配至最适合相应任务的处理引擎,从而满足上述需求。

  • 可编程逻辑负责传感器连接、灵活 I/O 和实时预处理;
  • AI 引擎在不占用可编程逻辑资源的情况下,提供高能效、高性能推理;
  • 高性能标量计算支持后处理及对时间敏感的决策制定。
  • 硬核 IP( ISP、GPU )可助力提升效率并释放更多可编程逻辑资源,以实现差异化功能。
  • 单芯片集成减少系统占用空间、通信开销和散热负担。
  • 集成的功能安全能力及产品组合的可扩展性,支持长生命周期的实际部署。

这些芯片能力共同构成了一个灵活的基础,可加速嵌入式 AI 流水线的各个阶段。不过,要充分发挥其系统级优势,还需要一个与架构相辅相成、能够协调其中各类工作负载的统一软件栈。这正是 Vitis AI 发挥关键作用之处。

AMD Vitis AI:释放第二代  Versal AI Edge 系列器件的量产就绪推理能力

Vitis AI 提供了统一的环境,可在第二代 AMD Versal AI Edge 系列上实现完整的 AI 流水线,进而帮助缩短上市时间,同时支持灵活的部署配置。开发者可以将经过优化的 AI 推理与可编程逻辑加速的预处理相结合,并在并发工作负载之间高效分配器件资源。您可以查阅我们的过往文章《从像素到预测:借助 AMD Vitis AI 的 GStreamer 加速边缘 AI 流水线》,了解 Vitis AI 如何将推理无缝集成到边缘 AI 流水线中。

今年早些时候发布的 Vitis AI 6.2 奠定了可用于部署的软件基础,帮助开发者从评估迈向实际部署。该版本为包括卷积神经网络( CNN )和视觉 Transformer 在内的现代 AI 模型提供了开箱即用的支持,并支持 INT8、BF16、FP16 及混合精度实现。这种灵活性使开发者能够根据应用需求,在性能与精度之间选择最合适的平衡。

通过 AI 引擎阵列分区优化多摄像头性能

Vitis AI 的一项关键能力是能够将独立的计算进程分配至 AI 引擎阵列的物理分区。这一功能为设计人员优化时延、吞吐量和功耗提供了多种选择。为展示其系统级优势, 第二代 Versal AI Edge 系列通过一项多摄像头目标检测与分类工作负载进行了评估,在单个器件上集成了实时视频处理、AI 推理和决策制定功能。

在这一具有代表性的部署场景中,一个 2VE3858 器件同时处理四路 1080p 摄像头数据流,并运行 YOLOv8m 目标检测。可编程逻辑和图像处理硬核 IP 加速传感器连接与预处理,AI 引擎阵列执行推理,集成的 Arm® 处理系统则负责后处理和决策制定。

2VE3858 器件中的 AI 引擎阵列是一款高性能推理加速器,在批量大小为 4( batch 4 )的模式下,总吞吐量可持续达到 300 fps。在这一应用中,系统将每路数据流的目标吞吐量设定为 30 fps,以匹配摄像头帧率,总目标吞吐量为 120 fps。

借助物理分区带来的资源分配灵活性,仅使用 144 个 AI 引擎计算单元( tile )中的 64 个,即可满足四路摄像头数据流的 YOLOv8m 推理目标,其余计算单元可用于其他计算需求,或直接用于降低系统功耗。

即将推出:Vitis AI 6.3

最新发布的 Vitis AI 6.3 延续了 6.2 版本的发展势头,进一步提升性能、易用性和部署优化能力。全新的智能体工作流有助于自动化开发自定义算子,并提供量化和混合精度指导;针对 CNN 和视觉 Transformer 工作负载的性能增强,则进一步提高了推理效率。

该版本将支持第二代 Versal AI Edge 系列产品组合中的更多器件,并增强 AI Analyzer 的功能,包括提供更深入的工作负载洞察以及集成的聊天机器人体验,从而进一步简化开发、性能分析和系统优化。

着手您的第二代 Versal AI Edge 系列推理设计

下载最新 Vitis AI 版本,评估其在受支持机器学习( ML )模型上的开箱即用性能。

利用现有教程和示例设计,编译并优化自定义模型。

构建自定义 AI 解决方案:

使用与生态系统兼容的工具,将您的机器学习模型集成到 AI 流水线中,包括 ONNX Runtime 以及通过 VVAS 提供的 GStreamer 插件;

利用随附的 AI Skills 缩短上市时间。

订购 VEK385 开发板,用于自定义设计的原型验证与开发,并使用熟悉的框架构建从传感器到推理的完整流水线。

使用 AMD Vivado™ 2026.1,选择最符合应用需求的第二代 AMD Versal AI Edge 系列器件作为目标器件。点击此处下载最新 Vivado 工具。