赛灵思为 AI 应用提供了全面的硬件和软件支持,关注赛灵思微信,每个月您都能收到我们在 AI 相关领域的最新动向和资料更新,从设计范例,IP和工具,实例演示,到 技术文档等内容的更新,不一而足,干货满满。
演示与示例设计更新
Mobilenet v2 SSD 演示
这个多类检测演示在赛灵思SoC平台上可实现轻量级 Mobilenet v2 SSD 网络,而无需进行修剪。您可以单击下列链接进一步了解 mobilenetv2-SSD:
https://github.com/chuanqi305/MobileNetv2-SSDLite
该网络以 Mobilenetv2 作为基干,能显著降低计算工作负载。与 VGG16-SSD 要求的每图像 117GOPS 相比,该网络仅需 6.3GOPS(分辨率均为 480*360)。该网络采用基于 11 个类的 BDD100K 数据 (https://bdd-data.berkeley.edu/) 进行训练,在低端 ZU2EG 器件 (B1152@430MHz) 上可实现 20+ FPS,达到 40.5% 的效率。
演示图片如下所示:
mobilenet v2 SSD 示例也将提供在即将推出的 DNNDK v3.0 开发包中。请随时保持关注。
全新的 NN 模型:RefineDet
RefineDet 是一种新颖的基于单镜头的对象检测算法。它与 R-CNN 和 R-FCN 等两阶段方法相比精度更高,但保留了 SSD 和 YOLOv3 等一阶段方法的效率优势。如需了解有关 RefineDet 的更多信息,请参阅专文:https://arxiv.org/pdf/1711.06897.pdf
RefineDet 由两个互联的模块构成,分别是锚盒细化模块和对象检测模块。这样可改进一阶段方法的架构,克服类别不平衡问题,提高检测精度。
根据该专文介绍,在使用 Pascal VOC 数据集(视觉对象识别与检测的主流基准,http://host.robots.ox.ac.uk/pascal/VOC/voc2012/#testdata)并使用较小输入图幅 320 x 320 时,RefineDet 能达到 80% 的 mAP(指平均精度,测量对象探测器精度的常用指标)。在使用更大的输入图幅 512 x 512 时, RefineDet 能达到 81.8% 的 mAP。这说明 RefineDet 与 SSD、Yolo 等其他常见一阶段模型相比,在检测小型对象时有更高精度。
我们已成功将 RefineDet 模型部署到我们的赛灵思 ZCU102 平台上,并得到如下性能与 mAP 结果:
平台:ZU9EG,配 3 片 B4096 DPU
RefineDet 计算:每图像 25GOPS (480 x 360),无修剪
COCO sub2000 数据集上的 mAP(人员类 AP):63.39% 的预处理时间:3ms
DPU 处理:17ms
后处理时间:6.5ms
吞吐量:使用 8 线程时为 100fps
RefineDet 示例将提供在即将推出的 DNNDK v3.0 开发包中。请随时保持关注。
辅助资料更新
DPU 转 Ultra96 教程
如何将 DPU 集成到定制系统中是众多开发者关注的课题。
我们已发布综合教程,引导用户完成使用 Avnet Ultra96 电路板和 DPU TRD 构建定制系统的所有步骤。单击下列链接下载设计:
https://www.xilinx.com/member/forms/download/design-license-xef.html?fil...
单击下列链接访问教程:
https://github.com/Xilinx/Edge-AI-Platform-Tutorials/tree/master/docs/DP...
该教程帮助用户深入理解如何使用 Vivado/SDK 开发流程集成赛灵思 DPU 和构建定制的嵌入式系统。
DPU 转 Zedboard 教程
Z7020 等低成本 Zynq SoC 为众多工业、汽车和消费类应用中的低端 AI 推断提供低成本选择。北京 AI 技术中心(前深鉴科技)收到许多来自这类客户的请求和咨询。
为了帮助并服务这些客户,我们已发布综合教程。该教程将引导用户完成集成赛灵思 DPU 以及在 Avnet Zedboard 上运行人脸检测示例所需的所有步骤。
您可以通过下列链接获取教程:
https://thesource.gosavo.com/Document/Document.aspx?id=48856093&view=
下面是教程内容的截图。
您可从下列链接下载设计:
https://thesource.gosavo.com/Document/Document.aspx?id=48852673&view=
教程与设计包将帮助开发者理解整个流程以及如何将赛灵思 DPU 集成到基于 Zynq-7000 SoC 的定制平台上。