在AutoGen)系列后,我又开始了LlamIndex 系列。欢迎查询LlamaIndex 一 简单文档查询 – 掘金 (juejin.cn)了解LlamIndex,今天我们来看看LlamIndex的拿手戏,RAG应用开发。
何为RAG?
RAG
全称”Retrieval-Augmented Generation”,即检索增强生成,它是自然语言处理中的一项技术。这种模型结合了检索式(retrieval-based)和生成式(generative)两种组件,以生成更准确、更相关的回答。
结合上篇文章,LlamaIndex
擅长为各种格式数据提供读取、转化为大模型需要的数据,最后通过Query 引擎交给大模型进行检索并生成回答。
所以,对Retrieval
的理解是大模型对LlamaIndex
提供的数据进行检索,是Augmented Generation
的理解大模型因LlamaIndex
提供的数据,对回答用户提的专业问题更有什针对性,就好像给llm 加了buff。
两个阶段
RAG,也称为检索增强生成,是利用个人或私域数据增强 LLM
的一种范式。它通常包含两个阶段
- 索引
读取各种数据,并对数据进行索引,为大模型构建知识库。
在这个阶段,LlamIndex提供了Data Connectors(数据连接器)、Data Indexes(数据索引)
- Data Connectors
数据连接器。它负责将来自不同数据源的不同格式的数据注入,并转换为 LlamaIndex
支持的文档(Document)表现形式,其中包含了文本和元数据。
- Documents / Nodes
Document是 LlamaIndex
中容器的概念,它可以包含任何数据源,包括,PDF文档,API响应,或来自数据库的数据。原来这就是LlamIndex专制各种数据格式不服的能力。
Node是 LlamaIndex
中数据的最小单元,代表了一个 Document的分块。它还包含了元数据,以及与其他Node的关系信息。这使得更精确的检索操作成为可能。
- Data Indexes
LlamaIndex
提供便利的工具,帮助开发者为注入的数据建立索引,使得未来的检索简单而高效。
最常用的索引是向量存储索引 – VectorStoreIndex
看到这里,对LlamaIndex
有了本质的认识, 数据格式千奇百怪不要紧,LlamaIndex
提供了Document>Nodes
这样的无数据,方便进行embedding索引。
- 查询
从知识库检索相关上下文信息,以辅助 LLM
回答问题
在这个阶段,LlamIndex提供了Query Engine,调用query方法就可以拿到LLM生成的结果。
在这个阶段,我们要理解查询的底层。首先,LlamaIndex
根据用户的查询,在数据索引中(检索上下文)找到最相关的上下文,并将其一起,传递给LLM,以合成响应。这样,LLM就可以被增强,以获得其不在原始训练数据(LLm原数据)中的最新知识且回答更正确。这就是RAG应用的核心特点,在知识问答、聊天机器人等AI应用中有着广泛的应用场景。
该阶段的构建块
- 检索器 Retrievers
它定义如何高效地从知识库(已被索引的数据),基于查询,检索相关上下文信息。
- Node Postprocessors
Node后处理器。它对一系列文档节点(Node)实施转换,过滤,或排名。Node是在上一个阶段LlamaIndex对数据的统一处理得到的节点。
- Response Synthesizers
它基于用户的查询,和一组检索到的文本块(形成上下文),利用 LLM
生成响应。
这个阶段的工作可以由LlamaIndex
提供的各种Engine
来启动工作。
Engine
- Query Engines 查询引擎
允许用户基于知识库,以自然语言提问,并获得回答,以及相关的上下文。
这个引擎的查询工作过程就是上面查询阶段的查询构建过程。
- Chat Engines
允许用户基于知识库进行对话
- Agents
代理。它是一种由 LLM
驱动的自动化决策器。代理可以像查询引擎或聊天引擎一样使用。我这里理解为在查询和聊天之外的,定制任务函数。以后我们会有特定篇幅讲解Agents。
总结
本篇内容以RAG
应用为例,解释清楚了LlamaIndex 构建知识库(Knowledge Base)和基于知识库的推理两个阶段的底层工作。
优秀, 下一篇继续深入LlamaIndex。