2023年9月16日，“掘力计划”第24期活动在北京举行，本期活动的主题是“大语言模型应用与实践”。来自业内的多位专家学者就大语言模型应用中 LLM Ops、向量检索构建知识库和图对比学习等话题进行了演讲和技术分享。
视频回放：juejin.cn/live/jpower…
一、大模型实践中的 LLMOps 和 LLM Agent
白海科技技术负责人刘喆老师详细介绍了大模型实践中 LLMOps 和 LLM Agent 的应用。他首先指出，应用之前必须明确目标和指标，设定问题域，否则很难落地。当前大模型应用主要通过 Prompt Engineering、量化微调、Lora 微调等技术进行，但各有利弊。LLMOps 可以通过标准化、自动化支撑模型应用全流程，LLM Agent 则通过任务拆分实现复杂问题的解决。但是数据获取、计算资源、分布式环境、模型能力等方面都存在挑战。未来仍需持续探索如何将 LLMOps和 LLM Agent 推向成熟，使大模型真正落地。
二、有道子曰大模型在教育领域的落地实践
网易有道 AI 部门张广勇老师重点介绍了有道子曰大模型在教育领域的落地应用。他指出大模型落地面临模型规模增长、训练推理成本高昂以及应用场景结合等挑战。有道子曰采用了大小模型结合、云端和端侧结合的模式进行部署。已在翻译、文档问答、口语教学等多个教育场景成功应用，为用户提供了优质的智能化学习体验。
三、利用向量检索构建知识库
来自 Zilliz 的 Towhee 项目负责人陈将针对大语言模型的局限性，分享了利用向量检索构建知识库进行改进的方法。他指出大模型缺乏专业知识、容易产生错误信息等问题。可以通过向量数据库构建知识库，生成提示词与大语言模型相结合，来提升性能。相比模型微调，使用知识库易于管理、准确度高、可灵活优化等。他还详细介绍了 CVP 技术实现原理，以及如何使用开源工具快速搭建一个增强问答的示例系统。虽然工程难题仍多，但这为改进大模型提供了新的思路。
四、大规模图学习中的图对比学习方法与应用
中国人民大学刘勇教授作了题为《大规模图学习中的图对比学习方法与应用》的演讲，向与会者介绍了图对比学习在大规模图学习中的技术原理和应用情况。
刘教授首先介绍了图机器学习的发展背景和意义，以及图对比学习作为其中的一种无监督预训练方法。通过在输入图中进行节点和边的遮挡、删除、采样等操作构造正负样本，以得到有效的图表征。图对比学习在分子预测、社交网络等领域已取得进展。但理论分析表明，过度对齐也会损害泛化能力。因此需要在保持增强效果的前提下，降低对比学习目标，以获得更好的泛化性能。当前的研究工作主要集中在寻找通用图学习基准、增强模型泛化能力等方面。
本次活动涵盖了超参数调优、向量检索、提示工程和图对比学习等大语言模型应用的核心技术，并结合实例详细阐述了这些技术的工作原理、效果以及目前存在的问题与挑战。参会者均表示收获颇丰，这充分体现了“掘力计划”活动连接学术与产业、促进技术交流的价值。随着工具和算法的进一步成熟，相信大语言模型的应用前景将更加广阔。
掘力计划
掘力计划由稀土掘金技术社区发起，致力于打造一个高品质的技术分享和交流的系列品牌。聚集国内外顶尖的技术专家、开发者和实践者，通过线下沙龙、闭门会、公开课等多种形式分享最前沿的技术动态。
