应用场景
前些日子做了这么个LLM应用,可以生成“你说得对,但是”梗,prompt如下:
现在提供以下模板:
你说得对,但是《{}》是由{}自主{}的一款全新{}。{}发生在一个被称作“{}”的{},在这里,被{}选中的人将被授予“{}”,{}之力。你将扮演一位名为“{}”的神秘{},在{}的{}中邂逅{}各异、{}独特的{}们,和他们一起{},{}——同时,逐步{}“{}”的{}。
以上是一段模板,其中含有一些{}符号,这个符号是占位符。模板中占位符以外的文字必须完全保留,在模板的每一处占位符中,填写与主题相符的文字使整段文字通顺。每一处占位符最多填入十个汉字。请使用以上模板,编写一段介绍原神的文字。
这个梗来自于原神的介绍文本:
你说得对,但是《原神》是由米哈游自主研发的一款全新开放世界冒险游戏。游戏发生在一个被称作“提瓦特”的幻想世界,在这里,被神选中的人将被授予“神之眼”,导引元素之力。你将扮演一位名为“旅行者”的神秘角色,在自由的旅行中邂逅性格各异、能力独特的同伴们,和他们一起击败强敌,找回失散的亲人——同时,逐步发掘“原神”的真相。
在这篇文章里,用这个应用测测比较前沿的开源大语言模型性能,看看在现在这个时间点,哪款开源模型才是最牛B的。本文使用 FastChat 测试,测试的模型包括:
还有一些不支持中文的模型,就不测试了:
Baseline
首先我们看看 ChatGPT with GPT-3.5 和 GPT-4 的性能。
Default (GPT-3.5)
首先是 Default (GPT-3.5)。如果你没充钱,用的就是这款模型。
你说得对,但是《原神》是由米哈游自主研发的一款全新开放世界游戏。游戏发生在一个被称作“提瓦特”的神奇世界,这里被天选之人选中的人将被授予“神之眼”,掌握元素之力。你将扮演一位名为“旅行者”的神秘角色,在提瓦特的旅途中邂逅性格各异、拥有独特的元素能力的伙伴们,和他们一起冒险,探索未知——同时,逐步揭开“天穹之外”的谜团。
对比
上图中坐标是原版,有一个瑕疵就是”被天选之人选中的人”,其他都还好
Legacy (GPT-3.5)
官方的介绍是 The previous ChatGPT Plus model,应该不如 Default。
你说得对,但是《原神》是由miHoYo自主开发的一款全新游戏。故事发生在一个被称作“原力世界”的世界,在这里,被原力选中的人将被授予“原力”之力。你将扮演一位名为“玩家自定义角色”的神秘角色,在原力世界的旅途中邂逅各异、性格独特的人物们,和他们一起探险、战斗——同时,逐步揭示“原力世界”的秘密。
对比
完全不如 Default。
GPT-4
目前应该是公开模型中最牛的。
你说得对,但是《原神》是由米哈游自主研发的一款全新开放世界冒险游戏。游戏发生在一个被称作“提瓦特”的幻想世界,在这里,被神明选中的人将被授予“视力”,掌控元素之力。你将扮演一位名为“旅行者”的神秘角色,在提瓦特的大陆中邂逅形态各异、性格独特的角色们,和他们一起探险,解锁神秘任务——同时,逐步揭示“提瓦特”世界的秘密。
对比
“视力”什么玩意,除了这点其他还是很不错的。
开源模型
对于开源模型我们使用这些默认参数:
- Temperature 0.7
- Max output tokens 512
Vicuna
重点来了,首先是英文最牛的 Vicuna。
在一个被称作“原神之地”的神秘世界里,被选中的人将被授予“原神选手”的神秘力量。你将扮演一位名为“原神秘匠”的神秘选手,在这个世界中邂逅各异、独特的原神选手,和他们一起探索、战斗,同时逐步解开“原神之力”的秘密。
在这个世界中,原神选手们拥有非常出众的能力,他们可以通过领奖来获得各种神秘的能力和道具。但是,这个世界中也有各种危险和挑战,原神选手们需要不断地提高自己的力量和能力,才能在这个世界中生存和成长。
作为一名原神秘匠,你需要勇敢地面对各种挑战,不断地探索这个神秘的世界,与其他选手一起合作,同时努力解开“原神之力”的秘密。在这个充满奇遇和挑战的世界中,你将会遇到各种不同的原神选手,每个选手都有着自己独特的故事和能力,你需要与他们合作,共同探索这个神秘的世界。
描述一下你的原神选手的外貌和性格:
- 外貌:你的眼睛是什么颜色?你的长发是什
对比
没错,这一段内容都是生成的,它还没有理解我们的任务要求,经过截取,对比如下:
效果很一般,感觉还不如刚发布时候的 davinci-003。他甚至没有带上精髓的“你说得对,但是”
ChatGLM
《原神》是由中国游戏开发公司 miHoYo 自主开发的一款全新游戏。故事发生在一个被称为“提瓦特”的神秘世界中,在这里,被选中的人将被授予“元素”之力,并扮演一位名为“旅行者”的神秘角色,在探索世界的过程中邂逅各种各异、独特的角色,与他们一起探索这个神秘的世界,逐步揭开它的秘密。
在游戏中,玩家将扮演旅行者,探索提瓦特的神秘世界,与各种角色互动,收集资源,升级角色,解锁新的地图和任务,体验丰富多彩的游戏世界。同时,玩家还可以探索神秘的元素秘密,学习新的技能和法术,提升自己的实力,成为一名真正的探险家。
《原神》是一款富有创意和想象力的游戏,融合了多种元素,包括自然、魔法、历史、神话等等,给玩家带来了一个充满惊喜和多样性的游戏体验。无论你是喜欢冒险和探索的爱好者,还是喜欢角色养成和技能升级的玩家,都能在这里找到适合自己的游戏玩法。
对比
虽然同样没有 follow 我们的 instruction,但是内容要比其他开源模型完整不少。
结论
和预期差不多,在开源模型中,英文 Vicuna 最好,中文 GLM 最好。另外观察 Alpaca 的效果,让 LLM follow instructions 似乎并不需要 RLHF。