-
北大微软亚洲研究院发布首个多轮多模态PPT任务完成基准PPTC GPT-4正确率仅6%
北大和微软亚洲研究院发布了首个多轮多模态PPT任务完成基准PPTC,评估大型语言模型在复杂多模态环境中的性能。评估结果显示GPT-4在创建新PPT文档任务中表现良好,但仍面临挑战。- 229
- 0
-
GPT-4完成正确率仅6%,北大等提出首个“多轮、多模态”PPT任务完成基准PPTC
最近对大型语言模型(例如ChatGPT和GPT-4)进行的评估工作主要侧重于在基本自然语言任务上的能力,以及模型生成用于解决单句用户指令的API的工具使用能力,却忽略了在理解复杂多模态环境中使用API完成用户指令的难题。为了填补LLM在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白,研究人员引入了PowerPoint任务完成(PPTC)基准测试,以评估LLM创建和编辑PPT文档的能力。- 337
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!