【OpenMMLab 社区开放麦】开播啦!!!技术下饭番追起来,每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时,也非常鼓励社区同学拿起话筒登上舞台,社区知识开放麦等你来玩~
本期精彩速递
大模型的指令微调在 NLP 领域中已成为重要研究主题。然而,针对大模型的指令微调存在三个层面的门槛:1. 数据层面:指令微调的数据选择和整合;2.计算效率层面:LLM 指令微调需要较高的计算资源需求;3.模型层面:不同的开源模型有着不同的 codebase,难以简单切换和对比。为了解决这些问题,本期社区开放麦特意邀请到Alpaca-CoT 团队,来分享关于多接口统一的大模型指令微调平台的相关内容。
分享大纲
-
大模型指令微调的前生今世
-
Alpaca-CoT: 多接口统一的大模型轻量级指令微调平台
-
LLM 中文指令微调的实证研究
-
Alpaca-CoT 未来计划和展望
分享时间
北京时间
2023 年 12 月 28 日(周四)
20: 00 – 20: 40(分享)
20: 40 – 21: 00(Q&A)
分享嘉宾
佀庆一,中国科学院大学,信息工程研究所博士生,研究方向包括多模态,大模型,鲁棒性等。
内容详情
在数据层面, Alpaca-CoT 收集和整理了 1.2 亿条样本,涉及到 2000+任务类别,包含 CoT,中文指令数据,role playing 等,收集的部分数据集如下图所示。
在计算效率层面,Alpaca-CoT 整合进来 prompt modification (如prefix tuning),reparameterization(如LoRA)以及 Adapter methods(如Parallel Adapter)三大类,共近 10 种参数效率方法。这三类参数效率方法的不同如下图所示。由于 Alpaca-CoT 是在 hugging face 的基础上开发而成的,所以 hugging face 支持的一些分布式方法(如Deepspeed 的 ZeRO1,2,3)和量化方法(如 Int8-bitsandbytes)在 Alpaca-CoT 中也同样支持。
在大模型接口层面,我们集成了十数种开源 LLM,并将这些模型和上述参数效率方法双向适配,仅需要更换超参数和对应的权重路径即可更换不同的 LLM。下图展示了我们已经集成进来的所有 LLM,后续我们将持续集成更多。
Alpaca-CoT 的初衷是无限降低研究人员使用和研究 LLM 的门槛,因此是完全开源和开放的,欢迎大家加入我们,共同不断维护和改进该平台,以促进大模型研究的民主化。任何有意义的改进我们都会考虑 merge 进来,欢迎向我们发起任何有意义的 PR,成为 Alpaca-CoT 的 contributor 之一!
近几个月,开源社区对大模型的指令微调相关的工作越来越多,然而,对世界上最常用的语言—中文的指令微调系统性研究仍处于早期阶段。因此,我们基于以上 Alpaca-CoT 平台对 LLM 的中文指令微调进行了深入的实证研究,可以作为一个指南书,整理出开源社区有哪些数据,哪些效率方法,哪些 LLM 分别表现如何,擅长哪些能力,为有效定制能够更好地响应中文指令的 LLM 提供有价值的发现。具体来说,我们系统地探讨了不同 LLM、参数效率方法和不同指令微调数据类型(三个最重要的元素)的影响。此外,我们还开展实验来研究大模型中其他重要元素的影响,如 CoT 数据、中文词表扩充、人类价值观对齐等。我们希望这一实证研究能够为中文开源大模型做出微薄的贡献。
想了解更多精彩内容,记得扫描海报上方二维码订阅直播,本周四晚八点开放麦不见不散哦~
相关工作
相关资料
An Empirical Study of Instruction-tuning Large Language Models in Chinese
paper:
Code:
https:// github.com/PhoebusSi/A…