【OpenMMLab 社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~
本期精彩速递
大模型的指令微调在 NLP 领域中已成为重要研究主题。然而，针对大模型的指令微调存在三个层面的门槛：1. 数据层面：指令微调的数据选择和整合；2.计算效率层面：LLM 指令微调需要较高的计算资源需求；3.模型层面：不同的开源模型有着不同的 codebase，难以简单切换和对比。为了解决这些问题，本期社区开放麦特意邀请到Alpaca-CoT 团队，来分享关于多接口统一的大模型指令微调平台的相关内容。
分享大纲
-
大模型指令微调的前生今世
-
Alpaca-CoT: 多接口统一的大模型轻量级指令微调平台
-
LLM 中文指令微调的实证研究
-
Alpaca-CoT 未来计划和展望
分享时间
北京时间
2023 年 12 月 28 日（周四）
20: 00 – 20: 40（分享）
20: 40 – 21: 00（Q&A）
分享嘉宾
佀庆一，中国科学院大学，信息工程研究所博士生，研究方向包括多模态，大模型，鲁棒性等。
内容详情
在数据层面， Alpaca-CoT 收集和整理了 1.2 亿条样本，涉及到 2000+任务类别，包含 CoT，中文指令数据，role playing 等，收集的部分数据集如下图所示。
在计算效率层面，Alpaca-CoT 整合进来 prompt modification (如prefix tuning)，reparameterization(如LoRA)以及 Adapter methods(如Parallel Adapter)三大类，共近 10 种参数效率方法。这三类参数效率方法的不同如下图所示。由于 Alpaca-CoT 是在 hugging face 的基础上开发而成的，所以 hugging face 支持的一些分布式方法(如Deepspeed 的 ZeRO1,2,3)和量化方法(如 Int8-bitsandbytes)在 Alpaca-CoT 中也同样支持。
在大模型接口层面，我们集成了十数种开源 LLM，并将这些模型和上述参数效率方法双向适配，仅需要更换超参数和对应的权重路径即可更换不同的 LLM。下图展示了我们已经集成进来的所有 LLM，后续我们将持续集成更多。
Alpaca-CoT 的初衷是无限降低研究人员使用和研究 LLM 的门槛，因此是完全开源和开放的，欢迎大家加入我们，共同不断维护和改进该平台，以促进大模型研究的民主化。任何有意义的改进我们都会考虑 merge 进来，欢迎向我们发起任何有意义的 PR，成为 Alpaca-CoT 的 contributor 之一！
近几个月，开源社区对大模型的指令微调相关的工作越来越多，然而，对世界上最常用的语言—中文的指令微调系统性研究仍处于早期阶段。因此，我们基于以上 Alpaca-CoT 平台对 LLM 的中文指令微调进行了深入的实证研究，可以作为一个指南书，整理出开源社区有哪些数据，哪些效率方法，哪些 LLM 分别表现如何，擅长哪些能力，为有效定制能够更好地响应中文指令的 LLM 提供有价值的发现。具体来说，我们系统地探讨了不同 LLM、参数效率方法和不同指令微调数据类型（三个最重要的元素）的影响。此外，我们还开展实验来研究大模型中其他重要元素的影响，如 CoT 数据、中文词表扩充、人类价值观对齐等。我们希望这一实证研究能够为中文开源大模型做出微薄的贡献。
想了解更多精彩内容，记得扫描海报上方二维码订阅直播，本周四晚八点开放麦不见不散哦~
相关工作
相关资料
An Empirical Study of Instruction-tuning Large Language Models in Chinese
paper:
Code:
https:// github.com/PhoebusSi/A…
