描述
训练好的模型在部署过程中的Vitis AI转换过程要经过优化、量化和编译等步骤。
尤其是量化,可以通过三种不同的方式实现。
训练后量化 :最简单的量化方法包括两个步骤。"校准",确定张量的量化步骤,以及量化模型的实际部署。
快速微调量化 :这是一种基于AdaQuant算法的更复杂的方法,它不仅可以校准激活,而且还可以微调权重。这种方法可以达到比训练后量化更好的性能。与前一种方法一样,它从一个已经训练好的模型开始。
量化意识训练(QAT) :顾名思义,模型在量化后被训练出最佳性能。
在此答复记录中,快速微调量化 应用于 Pytorch上已有的教程。
该设计是用Vitis AI 2.0开发的,UG1414 v2.0中的指南是强制性的。
解决方法
解压附件中的文件,并在教程中的训练步骤后,使用以下命令运行它。
# first step: calibration and finetuning python -u fast_finetune_quant.py --quant_mode calib # second step: test and model deployment python -u fast_finetune_quant.py --quant_mode test --deploy