-
PowerInfer:开源推理框架加速大模型推理速度11倍
PowerInfer是一个开源推理框架,能够在个人电脑上加速大模型推理速度达到11倍,支持混合计算和量化模型,是解决大模型推理速度和性能瓶颈的利器。- 270
- 0
-
大模型参数高效微调技术实战:bitsandbytes和LoRA技术综述
本文深入分析大模型参数高效微调技术,结合bitsandbytes和LoRA技术实战,介绍了INT8量化对模型的影响和使用NF4量化加载4比特模型的示例。涵盖了深度学习、AI技术和量化模型等内容。- 780
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!