前言
在之前文章中我们通过Python实现了爬虫，并成功爬取了网页的html数据
文章直达：网络爬虫开发：JavaScript与Python特性的小差异 – 掘金 (juejin.cn)
那么本篇文章将为您介绍通义千问API的特点和功能,并分享如何利用它来提升数据分析能力,让数据分析插上AI的翅膀,驶向更广阔的天空。
通义千问API
通义千问API就是一个将AI技术与数据分析完美结合的产品,它可以帮助用户快速从海量数据中提取有价值的洞见,为各行各业的决策提供强有力的支持
我们如果想使用通义千问的API有以下步骤
- 注册阿里云账号：如果你还没有阿里云账号，首先需要注册并登录。
- 创建API密钥：登录阿里云控制台，访问相应的API管理界面，创建API密钥（Access Key ID 和 Access Key Secret）
- 了解API文档：查阅通义千问的官方API文档，了解可用的API接口、请求参数、响应格式等信息。
- 安装必要的依赖库：如果你使用的是特定的编程语言，比如Python，你可能需要安装像
requests这样的库来发送HTTP请求。 - 编写代码调用API
- 处理响应
- 错误处理
首先你需要有一个阿里的账号
接下来我们来到模型服务灵积-总览 (aliyun.com)
生成通义千问的api_key，并保存好api_key
接下来我们就需要去编写代码了
首先安装对应的库
# 安装通义千问依赖
!pip install dashscope
接下来编写prompt
prompt = f"""
{movies}
这是一段电影列表的html，请获取电影名（name）、封面链接（picture）、简介（info）、评分（score），评论人数（commentsNumber）,
请使用括号的单词名作为属性名，以json数组的格式返回
"""
现在我们有了调用的必须的几样东西了，api_key、propmt、依赖、要处理的数据
要处理的数据是之前通过爬虫爬取的豆瓣网页的html数据
接下来我们就去调用通义处理数据了
import dashscope
#api_key
dashscope.api_key = "sk-xxxxxxxxxxxxxxxxxxxxxxxx"
def call_qwen_with_prompt(prompt):
messages = [{
'role':'user',
'content':prompt
}]
response = dashscope.Generation.call(
dashscope.Generation.Models.qwen_turbo,
messages=messages,
result_messages = 'message'
)
print(response)
return response
call_qwen_with_prompt(prompt)
现在我们来逐步分析一下这段代码
import dashscope
这行代码导入了 dashscope 库,这个是用于与通义千问去交互的一个库
#api_key
dashscope.api_key = "sk-xxxxxxxxxxxxxxxxxxxxxxxx"
这行代码设置了 Anthropic API 的 API 密钥,这是验证你请求的必需项。你需要将 "sk-xxxxxxxxxxxxxxxxxxxxxxxx" 替换为你自己的 API 密钥
def call_qwen_with_prompt(prompt):
messages = [{
'role':'user',
'content':prompt
}]
response = dashscope.Generation.call(
dashscope.Generation.Models.qwen_turbo,
messages=messages,
result_messages = 'message'
)
print(response)
return response
call_qwen_with_prompt(prompt)
这部分定义了一个名为 call_qwen_with_prompt 的函数,该函数接受一个 prompt 参数。
在函数内部:
-
创建了一个包含单个消息的列表
messages。这个消息有两个键:’role’和’content’。’role’被设置为’user’,表示这是用户提供的提示。’content’被设置为传递给函数的prompt参数。 -
调用
dashscope.Generation.call()方法,传递以下参数:dashscope.Generation.Models.qwen_turbo: 指定要使用的语言模型为qwen_turbo。messages=messages: 将前面创建的messages列表传递给该参数。result_messages='message': 指定将返回单个消息作为结果。
-
打印出返回的响应。
-
返回响应。
可以看到我们在控制台中就成功的获取到了处理以后的数据
总结
本文通过使用通义千问的API将爬虫爬取的网页html数据进行处理成我们想要的数据格式
希望通过本文能够让你有所收获！！！
