作者：高 歌，本文转载自：智东西
近日GTIC 2021嵌入式AI创新峰会在北京圆满收官！在这场全天座无虚席、全网直播观看人数逾150万次的高规格产业峰会上，来自产业链上下游的16位大佬共聚一堂，围绕嵌入式AI的软硬件生态创新、家居AIoT、移动机器人和工业制造产业4大版块地图，带来了深入浅出的分享。
作为下午场唯一家硬件平台厂商代表，赛灵思公司的软件和解决方案市场部高级经理刘珊珊带来了以《MPSoC平台加速工业视觉应用创新》为题的深入分享。
赛灵思软件和解决方案市场部高级经理刘珊珊
刘珊珊回顾，近些年赛灵思在不断地加速转型，从传统的FPGA，到延续FPGA核心价值的片上系统，再到最新一代的自适应计算加速平台（ACAP平台），公司研发出更易于软件编程的体系结构，同时也为客户提供更广泛的部署方法。
据刘珊珊分享，MPSoC平台最大的优势是具备整体应用协同优化的能力。谈到AI在工业场景的应用，她提到了安全生产、工业质检、AGV/AMR三大领域，并列举了测量、识别、引导、检测等工业质检领域的的细分场景，指出其中都可能嵌入视觉AI应用。
刘珊珊谈到，赛灵思的工业和视觉解决方案堆栈提供包括功能安全、网络安全、控制、通信、视觉处理、机器学习和边缘分析等解决方案，支持实时决策。硬件可编程的MPSoC使通用处理子系统与可编程逻辑相结合，从而适应多种工业场景解决方案的定制开发，并通过单芯片边缘平台方案降低成本。
最后，刘珊珊介绍了一款赛灵思最新发布的系统化模组K26 SOM，这正是基于MPSoC架构为工业视觉打造的模组。该模组即插即用，无FPGA开发经验的人也能在一小时内启动运行；针对这一标准平台，赛灵思还向用户推出应用商城，提供标准化的软件开发流程。
以下是刘珊珊的演讲实录整理：
一、赛灵思架构不断演进，自适应计算平台满足AI需求
刘珊珊：非常荣幸，我作为今天下午唯一一个做分享的女生，也是唯一一个从硬件平台的角度来分析工业视觉应用创新，我今天的分享分为三个方面。
首先，让我们来看一下赛灵思是如何通过自适应计算对我们的世界进行改善。从5G、AI、自动驾驶的兴起到云计算、大数据、物联网这些应用的蓬勃发展，我们看到了市场应用的需求正在经历着前所未有的快速变化，正因为如此，赛灵思以其独特的自适应性和灵活性平台被越来越多的人所认识并关注，它带给设计者带来强大的应对变化的能力，正如赛灵思的企业愿景，打造灵活多变，万物智能的世界。
首先我和大家分享的是，赛灵思如何通过赋能创新来对我们的生活、对人们想实现守护健康、想实现生活改善以及探索宇宙的梦想。
在当下这场席卷全球的新冠疫情当中，赛灵思始终以最高的优先级支持全球的合作伙伴来做一些医疗设备相关的研究和开发，以及批量生产。早在去年1月，在武汉疫情最水深火热的时候，赛灵思率先支持迈瑞用于病患转运过程中监护设备的批量生产，为医护工作者提供了便捷、高效的前端监护设备，为病患提供了生命保障。
在汽车领域，赛灵思一直以其车规级芯片帮助全球的汽车伙伴，对他们的一些来自于多个传感器的数据处理，来提升车辆的感知能力，从而加速AI在道路上的决策能力。
最近一个非常火热的话题是，各个大国争先将太空探测器发向了火星。在这之中，赛灵思也做了非常突出的贡献，我们在“毅力号”的火星车里选取了多款赛灵思的器件，用来给火星车着陆火星表面时进行导航定位以及自动驾驶方面的一些计算，同时也承担了一些图象加速和处理的任务。
为了帮助（向）我们的客户提供更加灵活应变的计算能力，赛灵思也在经历着不断的转型。最初我们传统的FPGA的架构，我们也在不断演进，结合了FPGA核心的价值以及其它的需求，打造成了一个片上系统（SoC），后来伴随着各个不同场景和不同需求，推出MPSoC、RFSoC、以及我们最新的7nm自适应计算加速平台ACAP的问世。
这个过程中赛灵思一直不断投入各种各样的研发力量，来探索更适应、更友好地面向软件编程的体系架构。与此同时，我们也在为客户提供非常广泛的部署方法，包括传统的部署方式把芯片集成到自己的系统中去。
近些年，我们也为客户提供像AIveo、SOM可以即插即用性的加速卡或者系统级的模组。我们也跟全球的云计算伙伴一起合作，把FPGA这种计算资源作为云上的服务，向大家提供更易于接入的FaaS服务。
说到AI，其实赛灵思的自适应计算平台，它其实是最能够满足AI创新速度需求的硬件。在AI的角度，我们有最核心的优势就是可以进行整体AI应用的协同优化。在实际应用中，AI推理只是任务的一部分，我们还存在大量的前处理、后处理任务。
这些任务中往往会涉及海量的数据交互，以及很多计算的能力，如果把这种交互放到芯片之外，甚至放到板子之外，势必很容易造成整个系统效率低下的问题。
赛灵思把关键的功能提取出来，经过底层优化之后，把它紧耦合在一个单芯片的解决方案里面，极大地提升了整个系统的工作效率，同时降低了系统功耗以及时延。
二、针对工业引导、检测环节，不规则、低辨识度物品依赖AI算法识别
下面进入人工智能如何赋能智慧工厂的。前面专家讲了工厂里面检测相关的应用，下面看一下我们对视觉在工业场景里面应用的理解。我们认为，（视觉在工业场景中）分为三大类相关应用，第一类是跟安全生产相关的、（跟）智能安防相关解决方案。
在这一类的解决方案里面，我们更加注重职场人员是不是按照规定去着装、是不是在规定的区域和范围内进行活动、是不是按照规范的操作流程做相应的施工的操作，这些是我们传统的安防摄像头就能够解决的问题。
下一个场景，跟产线上的生产制造相关的、工业质检的相关解决方案。这类解决方案包括测量、识别、引导以及检测等等，检测刚才有很多专家已经进行了非常细致的介绍。
第三个场景，我们认为是以工业场景的物品搬运以及上下料相关的自主驾驶的小车、包括一些机器人相关的解决方案。在这里面刚刚有嘉宾分享到，我们说核心的两个任务，一个做环境重建，这部分的任务多是基于多种传感器的融合，包括一些视觉、激光雷达、毫米波雷达、包括现在很火的双目和机构光等等这类传感器，我们要对这些传感器进行融合，并且对它的数据进行实时分析。
另外一种，我们说要去做导航，要去做避障，这里面涉及到相应的算法，也会需要我们有一些边缘侧的计算加速的能力。
下面，我们看一下在工业质检场景里面，机器视觉和AI分别有怎样的贡献。刚刚讲到把工业质检分为四个应用场景，分别是刚刚提到的测量、识别、引导以及检测。
测量指的是去做一些物体和物体之间以及物体自身的尺寸测量；识别指的是零部件代码，包括它的二维码、条形码进行识别，主要用于进行质量溯源以及生产流程的管控。
在引导环节，一般是定义物品所处的位置和方位，我们有一些机器的构造对物品进行抓取和放置，大家一听就很明白，就是我们在做一些产品的组装；检测呢，就是我们在这个过程中对零部件以及一些产成品做瑕疵、分类相关的检测。
测量不管用2D还是3D的sensor始终解决的是定性问题，这个领域核心多是光学，AI关联度并不高。
在识别的场景里面，如果仅仅是基于对编码规则的理解，其实也是用不到AI的，但是一定特定场合比如做OCR或者具有复杂背景或者不是那么清晰有一些脏污的条形码、二维码的识别，这时候AI就要发挥作用，这是AI在工业质检领域非常简单的应用。
相对测量识别，我们的引导和检测其实是更加注重和依赖于算法的。在引导的应用场景里面，我们传统是采用2D的方式，对于结构和形状长得非常标准的零部件，我们可以去做一些相应的引导。
如果这个物品变成一种柔性物质或者零部件本身是不规则的，我们就会使用一些3D方案解决，在3D方案里面AI视觉包括人工智能就发挥了很大的作用。在检测环节也一样，在传统的检测方案里面，比如自动光学检测是基于模式识别的方法论，本身具备一些系统泛化性比较差这样的瓶颈。
当然我们在一些更复杂的场景，比如检测的背景很复杂，或者像PCB、表面贴装工程本身辨识度不是很高的目标物品的检测，传统的机器视觉的方式就不是那么好用，在这种情况下需要请出AI来帮忙。
在这里简单总结一下，在工业质检环节里面什么样（的工作）适合AI来做？第一个，物品本身形状不规则或者物品某些属性特征发生会变化的引导会用到AI。第二，检测物体的背景非常复杂，在这种情况下要做目标的检测或者一些分割，或者我们一些表面纹理的识别和材料的分类，以及刚刚提到识别场景里面会有污损的二维码、条形码处理，我们可能会用到AI。
三、Kria入门套件一小时完成部署，Vitis AI降低使用门槛
这些跟赛灵思有怎样的关联？其实，赛灵思的MPSoC平台很好地结合了通用子处理器以及逻辑单元，把它们很好地整合到一颗芯片上。这样的一个架构很友好，能够实现我们在工业场景里面非常特殊的一些功能，比如说，工艺安全的要求、网络安全的要求、信号处理、工业控制，以及刚刚提到的机器视觉、AI以及边缘侧的实时决策能力。
针对这些特殊的功能，我们就可以拿来打造非常具有场景的、差异度的工业检测应用内容。
下面我们进入到MPSoC平台助力工业视觉话题的分享。在这里，我想给大家推荐一款我们最新处理器平台，是系统级模组K26。
这个就是我们的基于MPSoC架构的系统模组，模组里面具有CPU、GPU和FPGA逻辑单元，可以支持AI算力最高达到1.4TOPS/S，什么概念呢？现在，我们在应用场景里面见到的主流神经网络模型经过压缩之后，我们这颗芯片或者整个模组都可以实现实时或者准实时处理能力。
除此之外，在这颗芯片上因为是为工业视觉打造的，做了硬化的264、265编解码硬核，可以做到4K的图象质量，60帧的处理速率，这个是完全不占用我们模组上额外的计算资源的。那除此之外，我们为了各种应用，做了各种丰富接口的准备，包括各种各样的输入、输出设备，以及我们在上面放了4颗4G的DDR存储，可以基本上满足现在主流的AI计算在边缘侧运用的存储能力。
那同样，这也是一个即插即用型的系统级模组，专门为我们的开发者提供了一个我们叫入门级的套件，在这个套件上面，一个没有任何FPGA开发经验的人也可以在一个小时之内把它启动、运行一些我们准备好的加速应用。
当然，我们给大家提供了一个非常简洁的说明书，根据说明书我们把输入输出设备一一连接，把官方提供的镜像烧写到SDK卡上，根据我们的兴趣下载官方提供的已经加速好的应用，这样就可以把这个应用跑起来。
在这里面，我们还要介绍一下，现在针对这一款标准化的硬件平台，我们还推出了赛灵思的应用商城，在商城里面有很多来自于赛灵思自己去做定制化加速的应用，也有很多包括第三方合作伙伴来贡献的应用，像智能相机、带有reid功能的AIBOX、瑕疵检测、车牌识别等等，现在这些已经可以在官方的应用商城里面下载，可以拿一块板子自己跑起来。
在这里，我想说，赛灵思首次推出边缘侧标准化的硬件平台，它的意义和价值源源不止于此。我们还同时为大家提供了标准化的软件开发流程。这样的话，可以帮助更多的应用开发者把这个硬件平台用起来，根据自己的经验，包括自己所在的领域，推出更好的加速应用。
同时（开发者）可以把这些应用放到官方的商城上，我们会有一系列的商业化平台能力提供给大家。与此同时，对于一些应用开发的用户，他所需要的东西可以直接从商城上找到，这样我们就形成了硬件平台和应用良性循环的小小生态。
下面，我们就进入到怎么能够在这个平台上通过一些标准化的软件开发流程，来开发跟AI跟视觉相关的应用。首先，我们来关注，如果你仅仅是一个AI应用的开发者，只关注到神经网络模型这个层面的加速就够了。
我们在这里会用Vitis AI这款工具给大家提供一个DPU的IP。这个DPU，就是我们针对现在一些主流的框架，像TensorFlow、Caffe、PyTorch做好了底层硬件的加速。所有开发者需要做的就是选取一款适合自己的DPU IP和自己的神经网络模型做适配，做一些参数的调整，以及会把我们的网络做一些优化，这样就得到可以直接部署在我们SOM平台上的加速网络。
在实际应用的开发过程中，我们的SOM平台可以直接接受来自各种sensor直接的数据流输入，也可以接受来自于互联网和本地文件的音、视频流的输入。
像我们在音视频流的转码、包括我们的协议的解包、色彩域变换、resize以及归一化的前处理，以及我们后面的对于打上BoundingBox、对于一些ROI的提取，以及根据输出需求做一些视频的融合和显示，或者通过互联网传输后处理，我们都固化了下来，所有的流程你都不需要关心，只需要关心你的模型与DPU的适配。这样，我们就极大地降低了没有任何开发经验的AI开发者使用MPSoC这款平台的门槛。
对于软件开发者而言，我们推荐Vitis这款软件给大家做开发。（在）Vitis软件中，我们把大量经过底层优化的加速库提供到软件里面去，我们会通过library的形式，让很多熟悉C++、OpenCL语言的开发者，可以在自己熟悉的语言环境下，对我们的应用进行定制化开发。
怎么样定制化的开发呢，我们刚刚讲，除了DPU这部分跟AI相关的加速之外，我们的前处理、后处理都可以调用已经硬化好的library IP，实现我们定制化视频流的应用开发。
对于硬件开发者来讲，我们MPSoC这款系统化模组，我们SOM这个平台就可以把逻辑资源和系统级的方案完备性优势进行充分发挥，从RTL层面做全流程的加速，这样你得到的就是一个完全差异化的产品或者解决方案。
那在这里，其实特别想说我们Kria SOMs这个硬件平台，它工业的这个场景有什么特定的属性与我们工业的需求相匹配。首先，这是一个我们为工业级产品来打造的一个处理器平台，所以它在在抗震和抗极端的高低温情况下都有非常好的表现，同时它也有非常长的工业生命周期的保障。
这是一款我们在市面上能够见到的，最具网络安全的一款SOM模组。为什么这么讲呢？首先，就是我们16nm的MPSoC，它本身就具备安全访问的机制。它在SOM平台上面，我们又单独加了来自英飞凌TPM 2.0安全的芯片。这个芯片可以用来做远程认证，做密钥存储的管理。所以说，这个是我们双保险对于工业级信息安全的要求。
第三个，这颗芯片以及基础上打造的Kria SOM模组，是在全球多个国家得到了我们下面列的所有工业级的认证，在世界范围内我们对于工业安全的认证有非常严格的标准，包括功能认证、包括物理安全、包括信息安全。在不同的地方可能有不同的要求，但是没关系赛灵思的这款Kria SOM已经经过世界各地的验证，可以在全球范围内放心部署。
这里来分享一个，我们做布匹表面图案检测的应用案例。我们其实在很多现代化的纺织厂里面经常会发现一个共性的问题。我们用人工去做布匹表现瑕疵检测效率的时候，一个效率低，一个人为造成的漏检误检对于工厂带来的经济损失非常大。
我们知道，一台高速织布机的速度高达一千米/分钟，人眼盯着看肯定不可能做到实时检测。只能等到这批产品下了机器以后，我们对它进行抽检或者逐一检测。这时候如果哪个地方发生设备上的跳线，这个损失包括产能的损失，包括物料的损失已经发生了，没有办法改变。
所以基于这样的需求，我们要为高速的织布机打造一个布匹实时的瑕疵检测方案。我们为每个高速织布机配备四个高清摄像头，这四个摄像头用于实时采集像素级的信息，包括RGB，包括亮度。这样我们每一路摄像头的信息采集能力达到480MB/秒，处理能力按照30帧计算，是1.9GB/秒，这是这是前端采集的数据量。
同时我们在干一件什么样的事情？我们利用FPGA非常精准的时钟网络对四台摄像机进行同步控制，保证（摄像机）都在同时在一个节拍上去处理相应的任务。接下来，我们对于所有采集到的像素级的信息进行色彩域变换，发挥赛灵思FPGA平台极大的并行处理能力，对于多种颜色我们进行逐一的像素级比对。
比对之后得到的结果就可以很好地指导我们进一步的检测，不管是我们用传统的方式，比如机器视觉的方式，在Arm上跑瑕疵检测；还是用AI对于检测结果进行进一步的分析，我们对于它的瑕疵类别进行分类，可以进行非常灵活的处理。
那这个就是我刚刚提到的，我们可以给大家提供产品化、量产的Kria SOM的核心板。伴随着这个核心板，我们还给大家提供了一个入门级的套件，套件里面我们做了一个底板，上面有大家可能一些常用的接口和散热。
那除了这个开发套件之外，我们真正在量产的板子上其实是没有这些的。大家可以看到，我们提供了两个选项，一个是商业级的、一个是工业级的，这两个可以根据不同的应用场景给大家选择。
除此之外，赛灵思MPSoC还有广泛的合作伙伴生态，有很多合作伙伴用MPSoC器件来给大家提供各种各样的嵌入式模组，像有一款应用来自百度的EdgeBoard；在应用场景上面，从智能机到AIBOX等等一系列应用都可以实现。
在这里，我也非常真诚的能够邀请在座的合作伙伴们，（希望你们）能够加入赛灵思的合作伙伴生态，充分发挥我们自适应计算平台的特性，跟我们一起来共同打造灵活应变，万物智能的世界。
谢谢大家！
以上是刘珊珊演讲内容的完整整理。
