本文正在参加crfm.stanford.edu/2023/03/13/…
随着大型语言模型的广泛应用，GPT-3.5 (text-davinci-003)、ChatGPT、Claude和Bing Chat等指令调优模型已经变得越来越强大。然而，这些模型基本都是闭源的，如OpenAI的text-davici-003。 本文发布一种对大型语言模型进行指令调优的研究结果，它被称为Alpaca，是Meta的LLaMA 7B模型的微调模型。作者在使用text-davincic-003以self-instruct的方式生成的52K指令上训练模型。在self-instruct的评估集上，Alpaca表现出许多与OpenAI的text-davincic-003相似的行为，但也令人惊讶地小，易于廉价地复制。 本文主要介绍了Alpaca的训练方法和数据，并强调该模型仅用于学术研究，禁止任何商业用途。 在学术预算下训练高质量的指令遵循模型有两个重要的挑战： 对于第一个挑战，我们可以通过使用Meta最近发布的新LLaMA模型解决，该模型得到了充分的训练并取得了不错的表现。 对于第二个挑战，Self-instruct论文建议使用现有的强语言模型来自动生成指令数据。具体来说，Alpaca是一种语言模型，使用来自LLaMA 7B模型的监督学习对OpenAI文本davinci-003生成的52K指令跟随演示进行微调。 下图说明了Alpaca模型的训练过程。对于数据，通过构建Self-instruct方法生成了指令调优的数据。从175对来自Self-instruct种子集的人类编写的指令输出开始。然后，提示text-davinci-003使用种子集作为上下文示例生成更多指令。 通过简化生成管道(参见GitHub中的详细信息)改进了Self-instruct方法，并显着降低了成本。经过这个数据生成过程后，一共产生了52K个唯一指令和相应的输出，使用OpenAI API的成本不到500美元。 有了这个指令遵循数据集，作者使用Huggingface的训练框架对LLaMA模型进行了微调，利用了 Fully Sharded Data Parallel 和混合精确训练等技术。作者在8卡80GB的A100上微调7B LLaMA模型花了3个小时。 为了评估Alpaca，作者对来自自我指导评估集的输入进行了人类评估(由5名学生作者进行)。这个评估集是由Self-instruct的作者收集的，涵盖了各种面向用户的指令列表，包括电子邮件写作、社交媒体和生产力工具。我们对text-davincii-003和Alpaca 7B进行了两两盲比较，我们发现这两个模型具有非常相似的性能:与text-davincii -003相比，Alpaca以90：89获胜。 上面的例子表明，Alpaca的输出通常写得很好。作者注意到Alpaca反映了指令调优数据集的一般风格。因此，Alpaca的答案通常比ChatGPT短，这反映了text-davinci-003的输出更短。 Alpaca也表现出几种常见的语言模型缺陷，包括幻觉、毒性和刻板印象。特别是幻觉似乎是Alpaca常见的失败模式，甚至与text-davinci-003相比也是如此。 例如，在下图中，羊驼错误地说坦桑尼亚的首都是达累斯萨拉姆，这是坦桑尼亚最大的城市。(在1974年之前，它一直是首都，后来被多多马取代。) 此外，Alpaca可用于生成传播错误信息的编写良好的输出（这里展示了一个让Alpaca论证随机数种子42是最好的选择的论文摘要），如下面的示例所示。 Alpaca可能包含与底层语言模型和指令调优数据相关的许多其他限制。然而，我们相信这个工件对社区仍然是有用的，因为它提供了一个相对轻量级的模型，作为研究重要缺陷的基础。 Alpaca带来许多研究机，例如:1 概述
2 训练方式
3 初步评估
4 已知局限性
5 发布的资源
6 未来研究方向
Alpaca: 对大型语言模型进行指令调优的研究结果
释放双眼，带上耳机，听听看~！
本文介绍了对大型语言模型进行指令调优的研究结果，Alpaca模型的训练方法和初步评估，以及其已知局限性。该模型禁止商业用途，仅用于学术研究。
本网站的内容主要来自互联网上的各种资源，仅供参考和信息分享之用，不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益，请联系我们，我们将尽快采取行动，包括删除或更正。
