-
ReFT(Representation Finetuning):一种新的语言模型微调方法
了解ReFT(Representation Finetuning)的新型微调方法,与传统的PeFT方法相比具有更高的参数效率和更有效的适应性。本文介绍了ReFT的原理、优点以及与PeFT方法的不同之处。- 227
- 0
-
PEFT技术RoSA在自然语言处理领域的应用和效果分析
本文深入探讨了PEFT技术中的RoSA方法,以及其在自然语言处理领域的应用效果。RoSA通过低秩分解和稀疏微调实现了高效的参数优化,为大型语言模型的微调提供了一个新的解决方案。通过对RoSA原理、方法和结果的解释,帮助读者更好地了解其性能和应用价值。- 331
- 0
-
盘古智能体框架(Pangu-Agent):通用、微调、结构化推理能力的智能体模型
本文介绍了盘古智能体框架(Pangu-Agent),一种通用的、可微调的、具有结构化推理能力的智能体模型,探讨了其创新点和在多种任务和环境中的应用优势。- 188
- 0
-
Llama 2: 开源的LLMs模型及微调聊天模型详解
Llama 2是经过预训练与微调的基于自回归的transformer的LLMs,包括Llama 2-Chat在对话领域表现优异,同时具有可靠性和安全性。Meta公司详细说明了其微调方法和安全改进的方案,为AI对齐研究的进展提供了开放性的路径。- 322
- 0
-
LoRA: 降低大型语言模型参数,又不损失表现的轻量化微调方法
LoRA是一种轻量化微调方法,旨在降低大型语言模型的参数数量,同时保持模型性能。该方法受到2020年Aghajanyan等人的工作启发,通过对预训练模型的内在维度进行研究,提出了仅使用少量参数微调模型即可实现高性能的观点。本文介绍了LoRA的意义、大型模型的参数含义和限制,以及LoRA如何实现轻量化微调。- 485
- 0
-
预训练语言模型的发展及微调方法
本文介绍了预训练语言模型的发展及其在下游任务中的微调方法,包括自监督学习、提示学习和传统微调方法,为了让预训练语言模型在特定领域的应用中有更好的表现。同时探讨了Prompt Tuning和Pretrained Prompte等微调方法的优势和适用场景。- 227
- 0
-
S-LoRA: 专为大规模LoRA适配程序设计的新微调方式
S-LoRA是一种专为大规模LoRA适配程序设计的新微调方式,采用统一分页技术和张量并行策略,能够实现高效的GPU加速,提高适配器数量和吞吐量。- 450
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!