今天的展示的是使用赛灵思 Versal ACAP 平台加速语音识别的演示,它向您展示了赛灵思如何使用先进的 Versal ACAP 平台实现 AI 推断。
Versal ACAP 是一个全新的 7 纳米异构计算平台,拥有强大的 AI 引擎。有了这种先进的硬件加速,我们可以实现比英伟达 T4 GPU 高 40% 的吞吐量,而功耗只有英伟达 T4 GPU 的三分之一。
演 示 详 解
演示中,我们将音频样本文件作为输入,通过来自百度的开源语音识别算法 DeepSpeech 工具运行并生成一个文本文件。在此演示中我们将运行一系列层,从特征提取层开始然后是 CNN 层,然后是双向 LSTM 层,这是一个计算非常密集的层。这意味着它是一个非常适合硬件加速的目标应用。
使用 ACAP 架构我们就可以非常智能地进行系统划分操作。例如,征提取和 CNN 层将在主机 CPU 上运行;双向 LSTM 层将由AI引擎加速;Softmax 和 FC 层将由程序逻辑加速.....
在演示中我们比较了 Versal ACAP 和英伟达 T4 GPU解决方案的性能。对于 12 和 48 通道的演示,随着音频文件长度的增加GPU的时延越长,但是Versal ACAP解决方案仍然保持了非常低的时延,而且它能够以更高的吞吐量支持更多的通道。