lmsys.org的一个严肃的竞争对手已经加入了对LLMs(大型语言模型)评估的讨论中:SEAL Leaderboards——对领先前沿模型进行的私密、专家评估。
SEAL Leaderboards的设计原则:
🔒私密 + 无法被利用。在评估上不会过度拟合!
🎓领域专家评估
🏆持续更新,包含新数据和模型
https://x.com/karpathy/status/179587366648140201
Andrej Karpathy(原OpenAI的创始成员和研究科学家,也是特斯拉人工智能和自动驾驶部门(Autopilot)原负责人)的一些观点:
- LLM评估正在改进,但不久前它们的状况非常糟糕,因为定性体验经常与定量排名不符。
- 好的评估很难构建——在特斯拉,Karpathy可能花了1/3的时间在数据上,1/3在评估上,还有1/3在其他所有事情上。它们必须全面、代表性强、质量高,并测量梯度信号(即不要太容易,也不要太困难),在定性和定量评估一致之前,有很多细节需要考虑和正确处理。
- 任何公开(非私有)的测试数据集不可避免地会渗透到训练集中。这是人们强烈直觉上怀疑的事情,也是为什么最近的GSM1k引起了轰动。https://arxiv.org/html/2405.00332。
- 即使LLM开发者尽了最大努力,防止测试集渗透到训练集中(以及答案被记住)也是困难的。当然,你可以尽力过滤掉完全匹配的项。你也可以过滤掉近似匹配的项,比如使用n-gram重叠等。但是你如何过滤掉合成数据重写,或者有关数据的相关在线讨论呢?一旦我们开始常规地训练多模态模型,你如何过滤掉数据的图像/截图?你如何防止开发者,例如,向量嵌入测试集,并特别针对与测试集在嵌入空间中高度一致的数据进行训练?
- 大家关心的并非所有LLM任务都可以自动评估(例如,想想摘要等),在这种情况下,你希望涉及人类。当你这样做时,你如何控制所有涉及的变量,比如人们有多关注实际答案,或者长度,或者风格,或者如何处理拒绝等。
- 好的评估出人意料地困难,工作量巨大,但非常重要。
SEAL Leaderboards一些大模型评估结果,包括一些领先大模型:
– GPT-4o
– GPT-4 Turbo
– Claude 3 Opus
– Gemini 1.5 Pro
– Gemini 1.5 Flash
– Llama3
– Mistral Large
图片
图片
图片
SEAL Leaderboards https://scale.com/leaderboard