-
CMU Catalyst Group团队发布投机式推理引擎SpecInfer
近日,来自卡耐基梅隆大学(CMU)的 Catalyst Group 团队发布了一款「投机式推理」引擎 SpecInfer,可以借助轻量化的小模型来帮助大模型,在不影响生成内容准确度的情况下,实现两到三倍的推理加速。该技术将对大规模语言模型应用和部署产生重大影响。- 297
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!