本文转载自: 米尔MYiR微信公众号
随着AI技术的发展和进步,AI计算为越来越多的智能化行业应用提供驱动力。无论是在智能安防,工业质检,还是在无人驾驶,智慧零售,AI技术将无处不在,AI计算将无处不在。
FZ3是米尔与百度紧密合作推出的一款基于Xilinx Zynq Ultrascale CZU3EG芯片打造的深度学习计算卡,芯片内部集成了4核ARM A53处理器+GPU+FPGA的架构,具有多核心处理能力、FPGA可编程能能力以及视频流硬件解码能力等特点;内置了基于Linux操作系统+百度深度学习平台-飞桨(Paddle)定制的深度学习软核,深度兼容百度大脑模型资源与工具平台(EasyDL/AIStudio),可高效、快速的实现模型的训练—部署—推理等一系列流程,极大降低了开发验证、产品集成、科研教学、项目部署的门槛。
FZ3 AI软核介绍
系统框图
FZ3 计算卡内部搭载Linux系统,开发者可以基于Linux系统进行应用程序进行开发。主要调用流程:1.应用程序获取视频输入->2.调用预测库加载模型->3.调度模型和底层驱动加速模块进行计算->4.获得运行结果
FZ3常用模型(未量化裁剪)在FZ3上的性能数据
注:FZ3 软核仍在持续升级,性能将同步提升。相同网络结构不同版本对算力要求不同,如有具体项目应用,可联系官方团队申请定制优化。
FZ3 AI识别演示
为了向大家展示利用FZ3如何开发出更好玩的应用,米尔和百度相关同事做了一个简单的水果AI识别演示视频。如下所示:
本次的水果识别demo采用了计算复杂度相对较低、适用于移动、嵌入式这类计算资源紧张的边缘设备的目标检测模型->MobileNet-Yolov3深度学习网络模型,数据集则是用的大名鼎鼎的MS COCO(Common Objects in Context)数据集,模型在FZ3深度学习计算卡上的表现十分优秀,输入尺寸为416X416的图片,每帧平均耗时约为88ms。
技术点分析
1. 模型简介
以Mobilenet做为Yolov3模型主干结构的Mobilenet-Yolov3模型既保证了在计算资源有限的设备上的运行效率,也保证了目标检测的精准度,模型的检测流程如下图所示:
将MobileNet网络作为主干网络替换Yolo3中的Darknet53网络,MobileNet网络主要利用分组卷积和点卷积替换了原来标准卷积,可以极大的消减主干网络中卷积运算的部分,使得网络的整体计算量大大减少。该模型中,除了把主干架构变成了更为轻量化MobileNet网络外,其他的处理过程均与YOLOv3一致,其间分别抽取中间的第11、第13个Pointwise卷积层输出的特征图,结合主干最后输出的特征图来进行多尺度预测。
在PaddlePaddle框架中,Mobilenet-Yolov3模型被进一步优化, 使用剪裁、蒸馏等优化策略最大可使模型压缩70%,推理速度提升1倍!
2. 数据集简介
COCO(Common Objects in Context)数据集是微软发布的一个大型图像数据集,专为对象检测、分割、人体关键点检测、语义分割和字幕生成而设计。这个数据集以scene understanding为目标,主要从复杂的日常场景中截取,图像中的目标通过精确的segmentation进行位置的标定。图像包括91类目标,328,000影像和2,500,000个label。目前为止有语义分割的最大数据集,提供的类别有80 类,有超过33 万张图片,其中20 万张有标注,整个数据集中个体的数目超过150 万个。
COCO数据集的官网为: https://cocodataset.org/
关于该例程的完整源代码以及操作说明接下来会开源给大家参考,敬请期待!
米尔FZ3产品信息及购买请点击:http://www.myir-tech.com/product/mys-czu3eg.htm