大型语言模型(LLM)主要是以非结构化、对话式数据作为输入,输出的也是类似的非结构化且对话式的内容。但我们现在有了一种新方法,称为“函数工具”(Functions Tools),这种方法可以帮助我们将LLM的输出变得结构化并格式化,这通常是为了准备提交给外部API的格式。
这个名字可能有点误导,有人可能会误以为LLM在运行代码或是执行某些集成操作以调用函数。但实际上,LLM的工作方式是通过识别用户输入中的关键实体和短语,并将这些与预定义的JSON架构进行匹配,从而填充预定义JSON文档中的参数。
这种结构化的JSON输出不仅可以用于数据的结构化处理,还可以用于数据存储等多种用途。
那么,关于函数的更多信息是什么呢?首先,函数调用允许您向助手描述自定义函数,这样可以访问外部API。这意味着您可以通过生成API预期的JSON格式输出来调用外部函数,而这个JSON已经预先填充了相关的输入参数。
函数调用实际上是一种结构化LLM输出的方式,用户可以为所谓的“函数”定义一个架构,LLM会选择一个架构并填充该架构的条目。也就是说,函数工具的作用仅仅是尝试以API期望的格式准备数据。
值得一提的是,函数已经成为Chat Completion API的一部分,并且现在助手也支持此功能。
下面是一个简单的应用实例:您可以复制以下Python代码并粘贴到笔记本中运行。您需要做的只是添加自己的OpenAI API密钥。
举个例子,助手接收到的用户输入是:“给Mobot AI的stone发送一封电子邮件,索要月度报告?”生成的JSON文档如下所示,邮件正文中包含换行。
send_email({
"to_address":"stone@mobot.ai",
"subject":"Request for Monthly Report",
"body":"Dear Stone,nn
I hope this message finds you well. I am reaching out to kindly
request the monthly report. Could you please provide the latest
update at your earliest convenience?nnThank you in advance for
your assistance.nn
Best regards,"
})
在代码部分,我们定义了一个类型为function
的工具,它包含to_address
、subject
和body
三个属性。
pip install --upgrade openai
########################################
import os
import openai
import requests
import json
from openai import OpenAI
########################################
api_key = "your openai api key goes here"
########################################
client = OpenAI(api_key=api_key)
########################################
assistant = client.beta.assistants.create(
instructions="You are a HR bot, answering HR questions.",
model="gpt-4-1106-preview",
tools=[{
"type": "function",
"function": {
"name": "send_email",
"description": "Please send an email.",
"parameters": {
"type": "object",
"properties": {
"to_address": {
"type": "string",
"description": "To address for email"
},
"subject": {
"type": "string",
"description": "subject of the email"
},
"body": {
"type": "string",
"description": "Body of the email"
}
}
}
}
}]
)
########################################
thread = client.beta.threads.create()
########################################
message = client.beta.threads.messages.create(
thread_id=thread.id,
role="user",
content="Send Stone from Mobot AI an email asking for the monthly report?"
)
########################################
run = client.beta.threads.runs.create(
thread_id=thread.id,
assistant_id=assistant.id,
instructions="Use the function tool for this query."
)
########################################
run = client.beta.threads.runs.retrieve(
thread_id=thread.id,
run_id=run.id
)
########################################
messages = client.beta.threads.messages.list(
thread_id=thread.id
)
########################################
运行这段代码后,您可以在OpenAI仪表板中看到您的助手已被创建,并且在函数下创建了工具send_email
。现在您可以在这里设置助手的名称和指令。
当您在仪表板中与助手交互时,JSON文档会在响应中生成,您还可以在此处检查日志。
总结一下,函数是LLM向正确方向迈出的一步,通过它,我们可以定义数据输出的格式,并为LLM提供了一种结构或框架,使其能够执行某种类型的数据转换。