INT8

对于 AI 推断，在提供与浮点媲美的精度的同时，int8 的性能优于浮点。然而在资源有限的前提下，int8 不能满足性能要求，int4 优化是解决之道。通过 int4 优化，与现有的 int8 解决方案相比，赛灵思在实际硬件上可实现高达 77% 的性能提升。