要点:
LLM360是邢波团队提出的全方位开源倡议,旨在使大型语言模型的训练过程真正透明,包括训练数据、代码、模型检查点和性能指标等全方位开放。
LLM360的框架包括训练数据集与处理代码、训练代码与配置、模型检查点以及性能指标,提供了标准以确保更好地在社区中流通与共享,推动人工智能领域的开放合作研究。
研究者通过LLM360框架发布了两个大型语言模型:AMBER和CRYSTALCODER,详细揭示了它们的开发细节、评估结果以及对于LLM研究的经验和教训。AMBER在性能上相对较强,CRYSTALCODER在语言和代码任务之间取得平衡。
AICMTY(aicmty.com)12月13日 消息:开源模型在人工智能领域展现强大活力,但闭源策略限制了LLM(大型语言模型)的发展。邢波团队提出的LLM360全面开源倡议旨在解决这一问题。该框架明确了包括训练数据、代码、模型检查点和性能指标在内的各方面细节,为当前和未来的开源模型树立了透明度的样本。
论文地址:https://arxiv.org/pdf/2312.06550.pdf
项目网页:https://www.llm360.ai/
博客:https://www.llm360.ai/blog/introducing-llm360-fully-transparent-open-source-llms.html
LLM360的核心组成部分包括训练数据集、训练代码与配置、模型检查点以及性能指标。这一全方位的开源使得研究者可以更好地在社区中分享与流通,推动人工智能领域的开放合作研究。同时,LLM360框架下发布的AMBER和CRYSTALCODER是两个从头开始预训练的大型语言模型,为研究者提供了开发经验和性能评估结果。
AMBER是基于1.3T token进行预训练的7B英语语言模型,性能相对较强。而CRYSTALCODER是基于1.4T token训练的7B语言模型,在语言和代码任务之间取得了很好的平衡。这两个模型的开源不仅提供了性能评估结果,还为整个LLM领域的研究提供了实质性的经验和教训。
总体而言,LLM360的提出为大型语言模型的透明训练提供了一个标准,推动了开源模型的发展,加速了人工智能领域的进步。这一全面开源的趋势有望促进更多研究者的参与与合作,推动人工智能技术的不断创新。