ChatGLM-6B大模型优化计划启动

释放双眼,带上耳机,听听看~!
ChatGLM-6B启动Badcase反馈计划,欢迎开发者参与优化大模型的训练,提供有用数据,帮助模型不断进步。

ChatGLM-6B 自3月14号发布以来受到了广大开发者和用户的喜爱,截至4月23号 GitHub 的 star 数达到 2 万,累计下载量过 100 万,并连续 12 天居 Hugging Face (HF) 全球大模型下载榜第一名。 

ChatGLM-6B大模型优化计划启动

与此同时,有一批基于 ChatGLM-6B 的优秀开源项目出现,比如 ChatGLM-MNN、JittorLLMs、闻达、glm-bot、langchain-ChatGLM、ChatGLM-Tuning (LoRA) 等都在各个平台也引起了广泛好评和关注。此外,基于 GLM-130B 的千亿对话模型 ChatGLM 也自3月14号开始了第一阶段的邀请制内测,得到了内测用户的好评和支持。谢谢大家对 ChatGLM 及其 6B 开源版本的大力支持!

接下来,我们想邀请大家一起推动 ChatGLM-6B 的进一步提升,一起推动模型的发展。

尽管 ChatGLM-6B 已初具符合人类偏好的问答对话能力,在相当多的指令和问题上,其回答仍存在不理解复杂指令和任务含义,缺乏领域概念理解,事实性错误,生成有害内容,对话上下文不一致等诸多问题。

尽管我们提供的微调代码( PTuing )能够让用户通过自主训练修复部分问题,但因为神经网络的灾难性遗忘问题,微调后的模型往往会失去在通用领域的对话能力或者因数据较少而缺乏泛化能力。

Badcase 反馈计划

为了解决这些问题,进一步提升 ChatGLM-6B 的能力,我们启动了 ChatGLM-6B Badcase 反馈计划:

具体来说,对于在使用 ChatGLM-6B 过程中遇到的表现不佳的 Badcase 对应的具体指令和提问,您可以修改或从头撰写您认为合适的正确答案,并反馈给我们改进 ChatGLM-6B。

请您确保提交的数据不包含任何个人信息、商业秘密或可能危害国家安全、侵害第三方知识产权的内容。

我们会定期(每2-4周)对数据的有用性与正确性进行筛选,将筛选通过的数据,与通用域的对话数据一起加入到模型训练中,并更新发布开源的模型参数。

您提供的数据无论是否筛选通过,除非获得您的许可或根据国家法律规定和监管要求外,我们不会将您提供的数据对外公开。

您提供数据如被筛选通过,您将同时优先获得最新版本的 ChatGLM-6B 模型的体验资格。

此外,如果您愿意,您的用户名还将出现在 ChatGLM-6B Github 页面的数据贡献者名单中,以此纪念您对推进大模型开源事业发展的帮助。

您的支持和建议将为我们优化大模型提供源源不断的动力,在此向您表达我们最深的敬意与感谢!

参与计划

如果您希望参与这项计划,请填写问卷并按照指示上传您的数据。

提交的数据为 jsonline 格式,每行的内容为

{"prompt": "请根据以下标签为商品编写一段广告n类型#裤*版型#宽松*风格#性感*图案#线条*裤型#阔腿裤", "response": "宽松的阔腿裤这两年真的吸粉不少,明星时尚达人的心头爱。毕竟好穿时尚,谁都能穿出腿长2米的效果宽松的裤腿,当然是遮肉小能手啊。上身随性自然不拘束,面料亲肤舒适贴身体验感棒棒哒。系带部分增加设计看点,还让单品的设计感更强。腿部线条若隐若现的,性感撩人。颜色敲温柔的,与裤子本身所呈现的风格有点反差萌。"}

其中 prompt 部分为模型的输入,response 部分为期望的模型输出。为了保证模型的性能,请在输入中尽可能详细地表述任务的类型和期望的输出格式。完整的数据文件请参考官方 Github。针对某项具体的任务,为了使模型得到充分的训练,一般需要100条左右的训练数据。

最后,我们还是想与大家、与国内所有大模型从业者共勉,一起加油!

我们一直在探索、尝试和努力。通用人工智能探索,我们一直在路上,努力前行。

–ChatGLM 技术团队

反馈计划具体内容,参见官方 Github:

https://github.com/THUDM/ChatGLM-6B/tree/main/improve
本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

Pika 1.0:革新的视频生成工具,让普通人也能成为梦境导演

2023-11-30 11:42:00

AI教程

LayOutLM模型:深度学习新突破

2023-11-30 11:46:00

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索