PyTorch快速微调量化的一个例子

描述
训练好的模型在部署过程中的Vitis AI转换过程要经过优化、量化和编译等步骤。

尤其是量化,可以通过三种不同的方式实现。

训练后量化 :最简单的量化方法包括两个步骤。"校准",确定张量的量化步骤,以及量化模型的实际部署。

快速微调量化 :这是一种基于AdaQuant算法的更复杂的方法,它不仅可以校准激活,而且还可以微调权重。这种方法可以达到比训练后量化更好的性能。与前一种方法一样,它从一个已经训练好的模型开始。

量化意识训练(QAT) :顾名思义,模型在量化后被训练出最佳性能。

在此答复记录中,快速微调量化 应用于 Pytorch上已有的教程。

该设计是用Vitis AI 2.0开发的,UG1414 v2.0中的指南是强制性的。

解决方法
解压附件中的文件,并在教程中的训练步骤后,使用以下命令运行它。

# first step: calibration and finetuning
python -u fast_finetune_quant.py --quant_mode calib
# second step: test and model deployment
python -u fast_finetune_quant.py --quant_mode test  --deploy

最新文章

最新文章