跳转到主要内容

【工程师分享】一张图概略了解Transformer

作者:HankFu,本文转载自:<span id="profileBt"><a href="https://www.cnblogs.com/hankfu/p/15796925.html">博客园</a></span&gt;

最近两年,Transformer在NLP、CV领域都取得了非常好的成绩。结合相关文章,Transformer的底层也是矩阵运算。使用FPGA加速,也会取得很好的效果。

下面这张图,描述了Transformer的所有运算。由于尺寸太大,不能显示,可以下载。
<a href="https://img2020.cnblogs.com/blog/1853605/202201/1853605-202201131135069…; target="_blank">一张图概略了解Transformer</a>

分成两张图后,第一张图展示Transformer的主要运算,第二张图展示使用Transformer的主要网络。

Transformer的主要运算:
<center><img src="http://xilinx.eetrend.com/files/2022-01/wen_zhang_/100557005-239618-1.p…; alt=""></center>

Transformer的主要网络:
<center><img src="http://xilinx.eetrend.com/files/2022-01/wen_zhang_/100557005-239619-2.p…; alt=""></center>