-
GPTQ: 大语言模型的量化方法
本文介绍了GPTQ方法,它是一种用于大语言模型的量化方法,可以节省内存并提高推理速度。通过训练后量化,GPTQ采用int4/fp16的混合量化方案,为大模型的应用带来了新的可能性。- 335
- 0
-
transformers 支持的量化方案概述及比较
本文对transformers支持的量化方案进行了概述,并比较了GPTQ和bitsandbytes量化模型的优缺点。适用于对自然语言处理和文本生成感兴趣的读者。- 507
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!