为了更好地为2021赛灵思自适应计算挑战赛的参赛者提供赛事支持,由赛灵思团队举办的答疑会 Office Hour #1 已于12.15日完成,我们邀请到了众多Xilinx的软硬件技术工程师与专家,专门针对3个赛道提供软硬件答疑。
赛灵思开发者社区特整理了文字版的答疑以及整合了近期收到的各类问题,供各位参考:
Q1:KV260入门套件中是否提供载卡原理图?
A: 提供,请访问以下网站查阅:
https://www.xilinx.com/products/som/kria/kv260-vision-starter-kit.html#d...
Q2:如何从 Kria 智能摄像头应用中获得面部界标?
A: 需要使用界标模型创建新的流水线并设置结果输出。
Q3:我的团队试图遵循以下链接内的指南为智能摄像头应用定制 AI 模型。
(https://xilinx.github.io/kria-apps-docs/main/build/html/docs/smartcamera...)
然而,当我们选择新模型 SSD MobileNetv2 时,应用无法工作并给出了“标签未找到”的错误。仔细检查,发现“label.json”文件在正确位置。对于这个问题的解决有什么建议吗?
A: 问题似乎是您的 label.json 文件中没有 SSD MobileNetv2 所需的所有分类,因此您可能需要添加 MobileNetv2 模型所训练的所有分类。
Q4: Vitis 可以添加一个定制 PL IP 核吗?
A: 当然。在 Vitis 流程中,PL IP 既可以集成在定制平台中,也可以被视为 Vitis 内核,甚至您也可以使用 Vivado 流程。
Q5:是否有可能同时使用 MIPI 和 RPi 摄像头?
A: 是的,CSI2-rx 子系统最多可以接收 4 通道。
Q6:pmod 是连接到 PS 端还是 PL 端?
A: PL 端。到高密度 IO 库。
Q7:Vitis 用户指南列出了 Dockers 的安装(以及 linux 下的命令),这也适用于 Windows 10 的电脑吗?
A: 目前支持的操作系统是:
• 64 位 Linux
• Ubuntu 16.04、18.04、20.04
• CentOS 7.6、7.7、7.8、8.1
• RHEL 7.6、7.7、7.8、8.1
Q8:如何训练 ML 模型?事实上,我在这个领域是新手,我的项目要求识别机场附近的鸟类,那么我如何开发 AI 模型来检测鸟类并将其部署到 KRIA电路板上呢?
A: 请您参考 Vitis AI用户指南 UG1414:
https://www.xilinx.com/support/documentation/sw_manuals/vitis_ai/1_3/ug1...
Q9:我用到的硬件是 VCK5000,但是风扇的声音太大,有没有办法用软件控制风扇?
A: 用软件控制风扇?这恐怕不行,这属于机械噪声,无法通过软件控制来降低噪声。
Q10:可以在 FPGA 上同时运行 2 个模型吗?
A: 您可以在一个线程中运行不同的模型。
Q11:对于 raspberry pi 摄像头输入连接,是否有任何开箱即用的支持?
A: 抱歉目前还没有关于 Raspberry 摄像头的文档。
一个建议是,您可以使用带有 ISP 的 Raspberry 摄像头,然后相应地修改约束条件。
Q12:我想使用赛灵思开发板做一些定制机器学习。智能摄像头应用可以正常运行。但是我还想尝试定制的机器学习模型。那如何训练模型并把它转换成KV260板卡可以使用的形式?
A: 您可以参考查阅Vitis AI的用户指南UG1414,里面提供了详细的信息,包括如何训练定制模型,Vitis AI用户指南会对你很一点帮助。
https://china.xilinx.com/content/dam/xilinx/support/documentation/sw_man...
Q13:当我向 Kria SOM(运行 petalinux)发出“sudo 现在停止”命令时,它停留在“卸载远程文件系统”,此时我被迫关闭电源,我担心这可能会损坏 SD 卡,那么这是一个已知的问题吗或者这是正常现象?
A: 通常我们会直接切断电源,这不会损坏您的 SD 卡,关掉电路板是正常的。
Q14:我们可以为智能摄像头应用编写定制后处理代码吗?在“aiinterference.json”文件中看到“model-class”只能是“FACEDETECT”、“REFINENDET”和“SSD”。我相信这说明了后处理的操作方式,我还可以在哪里为配置文件的参数编写文档(例如 aiexpression.json)。
如果我想使用完全不同的架构,比如 YOLO,我将需要不同的后处理代码。
A: 请浏览 VVAS 文档,可能会对您有帮助:https://xilinx.github.io/VVAS/main/build/html/index.html
Q15:KV260算例数据有公开资料吗?
A: 有的,请访问如下链接查阅 WP529 文档。
https://china.xilinx.com/search/site-keyword-search.html#q=WP529
Q16:KV260的 Gstreamer 架构支持 NLP 吗?
A: 可以,NLP是官方应用之一。
Q17:KV260, 最合适的开发环境版本是什么?
A: 官网已更新至Vitis 2021.1. 部分demo 需要 Vitis 2020.2
Q18:AI box-reid-p 参数无效问题。
A: 如果是Vitis 2021.1,从Github 把整个repo clone下来,然后修改 kms 到属性 can-scale=true 删掉,再编译一下替换 aibox-reid 可执行文件。
Q19:KV260没有预装qtdemux,需要安装吗?
A: 是的,最新版的 ubuntu 镜像有qtdemux可以使用。
Q20:KV260上电时候的网络连接问题,为何显示找不到网络?
A: 1)LED 闪烁没有 UART 响应,请验证您的机器有没有安装 FTDI 驱动程。
2)默认用户名 “ petalinux”
3)ping 8.8.8.8 验证 internet
Q21:KV260 是否必须使用有线网络工作?
A: 是的。
Q22:KV260有可以进行硬件的编解码吗?
A: 有的,可以参考smartcam和aibox-reid, 这两个例子的Overlay都是有vcu的硬件解码模块。
Q23:KV260多次安装无法完成原因?
A: 请关闭所有杀毒软件。
如果是在串口的terminal界面中安装App store上的package无法成功可以在命令后面添加“-y”
如: sudo dnf install package_xxxxxx.noarch -y
Q24:KV260提供的petelinux镜像上,怎么跑基于vitis-ai的自己训练的模型,没有dexploer,也不具备build环境,官方推的smartcam和AIbox-reid使用不是很流畅。
A: 如果是自己的模型可以参考Vitis AI Library 的sample:
https://github.com/Xilinx/Vitis-AI/tree/master/demo/Vitis-AI-Library/sam...
如果是使用model-zoo中的model进行重训的话可以直接将编译好的model替换到路径 /usr/share/vitis_ai_library/models/ 目录下对应的model文件夹即可。
Q25:KV260能测yolov3的帧率能到多少吗?
A: 详见UG1354文档, Table 58: KV260 Performance
https://www.xilinx.com/content/dam/xilinx/support/documentation/sw_manua...
Q26:KV260 视觉 AI 入门套件启动问题:
A: Win、macOS、Linux说明:
https://china.xilinx.com/products/som/kria/kv260-vision-starter-kit/kv26...
Q27:哪里能找到ap1302资料和ar1335资料?
ap1302:
https://www.onsemi.cn/products/sensors/image-signal-processors-isps/ap1302
ar1335:
https://www.onsemi.cn/products/sensors/image-sensors/ar1335
Q28:DPU加速需要注意什么?
A: 确保版本和板卡是否能够被DPU支持,详见Vitis AI 手册UG1414:
https://www.xilinx.com/content/dam/xilinx/support/documentation/sw_manua...
Q29:VCK5000版本问题?
A: 请参阅:
https://support.xilinx.com/s/article/76567?language=en_US
Q30:想了解一下KV260的传感器通信和KRS系统?
官方版的KV260板支持KRS,但不确定micro-ROS是否支持,
KRS 用户指南如下,请参考:
https://xilinx.github.io/KRS/sphinx/build/html/index.html
Github链接如下,请参考:
https://github.com/Xilinx/KRS/issues
Q31:请问有USB摄像头的兼容性列表吗?
USB摄像头不知何故没有被检测到。
目前没有完整的清单,但罗技C920 Pro的效果不错。
如果你的USB摄像头不知何故没有被检测到,出现了一个错误,请尝试更新你的VK映像,然后再检查你的USB摄像头是否能被检测到。
Q32:如果我有一个TensorFlow模型,如何通过Vitis AI 在KV260上执行模型?
我们的Vitis AI用户指南能够帮到你,里面会介绍如何运行TensorFlow模型。因为它需要docker,所以你要在你的机器上装一个docker,然后编译再执行。
https://china.xilinx.com/content/dam/xilinx/support/documentation/sw_man...
Q33:有没有什么帮助文件能介绍如何在KV260上执行OpenCV的?
OpenCV和软件一样,在Vitis Vision库页面上有很好的参考文档,可以去搜到一些函数,然后在你的应用中部署。
https://china.xilinx.com/products/design-tools/vitis/vitis-libraries.htm...
Office Hour #2
第二次全球 Office Hour #2 答疑会将在2022年1月19日12:00-13:00 进行,
敬请关注XILINX开发者社区,获取注册信息。
Q&A
更多疑问请访问 Hackster.io的Discussion board:https://www.hackster.io/contests/xilinxadaptivecomputing2021/discussion#... 或发邮件至 contest2021@xilinx.com