原神介绍：探秘提瓦特的幻想世界

应用场景

前些日子做了这么个LLM应用，可以生成“你说得对，但是”梗，prompt如下：

现在提供以下模板：

你说得对，但是《{}》是由{}自主{}的一款全新{}。{}发生在一个被称作“{}”的{}，在这里，被{}选中的人将被授予“{}”，{}之力。你将扮演一位名为“{}”的神秘{}，在{}的{}中邂逅{}各异、{}独特的{}们，和他们一起{}，{}——同时，逐步{}“{}”的{}。 

以上是一段模板，其中含有一些{}符号，这个符号是占位符。模板中占位符以外的文字必须完全保留，在模板的每一处占位符中，填写与主题相符的文字使整段文字通顺。每一处占位符最多填入十个汉字。请使用以上模板，编写一段介绍原神的文字。

这个梗来自于原神的介绍文本：

你说得对，但是《原神》是由米哈游自主研发的一款全新开放世界冒险游戏。游戏发生在一个被称作“提瓦特”的幻想世界，在这里，被神选中的人将被授予“神之眼”，导引元素之力。你将扮演一位名为“旅行者”的神秘角色，在自由的旅行中邂逅性格各异、能力独特的同伴们，和他们一起击败强敌，找回失散的亲人——同时，逐步发掘“原神”的真相。

在这篇文章里，用这个应用测测比较前沿的开源大语言模型性能，看看在现在这个时间点，哪款开源模型才是最牛B的。本文使用 FastChat 测试，测试的模型包括：

• Vicuna: 基于llama，英文效果最好的
• ChatGLM: 清华大学开源的双语对话语言模型，中文效果最好

还有一些不支持中文的模型，就不测试了：

• Koala: 英文性能和Vicuna差不多
• Alpaca
• LLaMA

Baseline

首先我们看看 ChatGPT with GPT-3.5 和 GPT-4 的性能。

Default (GPT-3.5)

首先是 Default (GPT-3.5)。如果你没充钱，用的就是这款模型。

你说得对，但是《原神》是由米哈游自主研发的一款全新开放世界游戏。游戏发生在一个被称作“提瓦特”的神奇世界，这里被天选之人选中的人将被授予“神之眼”，掌握元素之力。你将扮演一位名为“旅行者”的神秘角色，在提瓦特的旅途中邂逅性格各异、拥有独特的元素能力的伙伴们，和他们一起冒险，探索未知——同时，逐步揭开“天穹之外”的谜团。

对比

上图中坐标是原版，有一个瑕疵就是”被天选之人选中的人”，其他都还好

Legacy (GPT-3.5)

官方的介绍是 The previous ChatGPT Plus model，应该不如 Default。

你说得对，但是《原神》是由miHoYo自主开发的一款全新游戏。故事发生在一个被称作“原力世界”的世界，在这里，被原力选中的人将被授予“原力”之力。你将扮演一位名为“玩家自定义角色”的神秘角色，在原力世界的旅途中邂逅各异、性格独特的人物们，和他们一起探险、战斗——同时，逐步揭示“原力世界”的秘密。

对比

完全不如 Default。

GPT-4

目前应该是公开模型中最牛的。

你说得对，但是《原神》是由米哈游自主研发的一款全新开放世界冒险游戏。游戏发生在一个被称作“提瓦特”的幻想世界，在这里，被神明选中的人将被授予“视力”，掌控元素之力。你将扮演一位名为“旅行者”的神秘角色，在提瓦特的大陆中邂逅形态各异、性格独特的角色们，和他们一起探险，解锁神秘任务——同时，逐步揭示“提瓦特”世界的秘密。

对比

“视力”什么玩意，除了这点其他还是很不错的。

开源模型

对于开源模型我们使用这些默认参数：

• Temperature 0.7
• Max output tokens 512

Vicuna

重点来了，首先是英文最牛的 Vicuna。

在一个被称作“原神之地”的神秘世界里，被选中的人将被授予“原神选手”的神秘力量。你将扮演一位名为“原神秘匠”的神秘选手，在这个世界中邂逅各异、独特的原神选手，和他们一起探索、战斗，同时逐步解开“原神之力”的秘密。

在这个世界中，原神选手们拥有非常出众的能力，他们可以通过领奖来获得各种神秘的能力和道具。但是，这个世界中也有各种危险和挑战，原神选手们需要不断地提高自己的力量和能力，才能在这个世界中生存和成长。

作为一名原神秘匠，你需要勇敢地面对各种挑战，不断地探索这个神秘的世界，与其他选手一起合作，同时努力解开“原神之力”的秘密。在这个充满奇遇和挑战的世界中，你将会遇到各种不同的原神选手，每个选手都有着自己独特的故事和能力，你需要与他们合作，共同探索这个神秘的世界。

描述一下你的原神选手的外貌和性格：

• 外貌：你的眼睛是什么颜色？你的长发是什

对比

没错，这一段内容都是生成的，它还没有理解我们的任务要求，经过截取，对比如下：

效果很一般，感觉还不如刚发布时候的 davinci-003。他甚至没有带上精髓的“你说得对，但是”

ChatGLM

《原神》是由中国游戏开发公司 miHoYo 自主开发的一款全新游戏。故事发生在一个被称为“提瓦特”的神秘世界中，在这里，被选中的人将被授予“元素”之力，并扮演一位名为“旅行者”的神秘角色，在探索世界的过程中邂逅各种各异、独特的角色，与他们一起探索这个神秘的世界，逐步揭开它的秘密。

在游戏中，玩家将扮演旅行者，探索提瓦特的神秘世界，与各种角色互动，收集资源，升级角色，解锁新的地图和任务，体验丰富多彩的游戏世界。同时，玩家还可以探索神秘的元素秘密，学习新的技能和法术，提升自己的实力，成为一名真正的探险家。

《原神》是一款富有创意和想象力的游戏，融合了多种元素，包括自然、魔法、历史、神话等等，给玩家带来了一个充满惊喜和多样性的游戏体验。无论你是喜欢冒险和探索的爱好者，还是喜欢角色养成和技能升级的玩家，都能在这里找到适合自己的游戏玩法。

对比

虽然同样没有 follow 我们的 instruction，但是内容要比其他开源模型完整不少。

结论

和预期差不多，在开源模型中，英文 Vicuna 最好，中文 GLM 最好。另外观察 Alpaca 的效果，让 LLM follow instructions 似乎并不需要 RLHF。