编者按:在之前的系列文章中,我们介绍了大模型的原理和微调落地的理论方法。本期文章,我们将以实际场景为例,详细介绍微调的实践流程和相关代码。
作者详细介绍了如何使用 QLoRA 技术针对 Falcon-7B 大语言模型进行微调,使之在消费级 GPU 上进行微调而不会出现out of memory(内存不足错误),从而创造一个能够准确、连贯的回答心理健康问题的 AI 助手。
以下是译文,Enjoy!
🚢🚢🚢欢迎小伙伴们加入arxiv.org/pdf/2106.09…
[3]huggingface.co/datasets/he…
[4]huggingface.co/ybelkada/fa…
[6]huggingface.co/heliosbrahm…
[8]huggingface.co/heliosbrahm…
本文经原作者授权,由Baihai IDP编译。如需转载译文,请联系获取授权。
原文链接:
🚢🚢🚢欢迎小伙伴们加入AI技术软件及技术交流群,追踪前沿热点,共探技术难题~