最近在Twitter上探索时,我发现了许多关于ChatGPT的创新性应用和新颖玩法。然而,这些讨论主要是英文的,并且涉及大量重复的信息。因此,我想邀请ChatGPT帮助我深入分析和概括有关“ChatGPT-4创新应用与独特思路”的相关话题,以便更好地了解这些潜在的新兴领域。
最终结果
话不多说先看结果,最终数据内容有推特的URL,推特内容,英文总结,中文总结。
模型选定
目前,GPT-4是最强大的模型,其上下文关联性和推理能力在OpenAI中都是首屈一指的。然而,这也导致了算力消耗极大,从请求频次限制便可看出。以前是每4小时允许50次请求,现在变成了每3小时只允许25次请求。正如俗话所说:“好钢用在刀刃上。” 在整个项目中,我们将编程上下文、环境处理、错误处理等方面的任务交给GPT-4模型处理。
对于一般的方案查询,我们则采用GPT-3.5,因为无论是4.0还是3.5版本,它们的知识库都是截至2021年的数据。
代码我们使用google的colab进行运行毕竟有免费的算力,不piao白不piao。
开始问答
获取数据
首先我们使用3.5模型来搜索一下获取推特数据的python库。这里我们就随便选一个库,所以我就选了最后一个snscrape。
生成基本代码
在确定好语言以及使用库之后,我们就可以回到强大的GPT4的对话中,让它给我创建一个使用snscrape抓取twitter内容的demo
然后我们将生成的代码直接放入到colab中,发现直接报错,所以我们继续向它提问。
将代码放入到colab中运行,发现什么都没有输出,
所以这里我尝试删除查询query当中的中文,再次运行代码,这把有输出了
优化查询逻辑
虽然我们的代码已经可以通过指定查询关键词来抓取推特内容,但返回的结果却五花八门,包括各种类型的推文,如推销信息、广告等,其中包含许多杂乱无章的内容。而我们的重点在于寻找关于“GPT-4新使用方法和创意玩法”的信息。
为了解决这个问题,我们需要优化查询策略。然而,由于我并非爬虫领域的专家,我不确定如何设置更精确的过滤条件。因此,我们需要GPT-4的帮助来实现这个目标。
nice果然很棒!GPT4很快帮我们优化了查询语句,赶快运行一下查看效果。
这把输出的内容关联性就很高了,但是我还不满足,我需要的抓取的是热度最高的帖子,所以我继续对GPT4提问。果然是有求必应,很快就给我答案了。
内容总结
哎呀,面对这海量的推文数据,我可不是超人,哪有那么多时间一个个去看呀!这时候,我们的AI小助手就该露一手了,帮我总结一下推文内容,并以整齐的表格形式呈现给我。所以,没错,我又提出了一个“贪心不足”的请求,让AI来拯救我于信息洪流之中吧!
对于英语不是很好的我来说,即使AI给我总结出来了,我也看不懂呀,所以没错我的要求又来了
再次放入到colab中运行,查看openai给我总结的内容。
同时AI还很贴心给你生成了结果的csv文件,
当然你可以使用以下代码来进行下载结果
from google.colab import files
files.download("tweet_summaries.csv")
完整代码
所有代码都是GPT4写的!!!,我只是负责出提示
import snscrape.modules.twitter as twitter
import pandas as pd
import openai
import logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
# Set your OpenAI API key
openai.api_key = "your openai key"
query = "chatgpt4 (use OR uses OR using OR example OR examples OR scenario OR scenarios OR application OR applications)"
results_to_retrieve = 50
logger.info(f"Searching for '{query}' on Twitter")
scraper = twitter.TwitterSearchScraper(query)
# Sort tweets by engagement (likes + retweets + replies)
tweets = sorted(scraper.get_items(), key=lambda x: x.likeCount + x.quoteCount + x.replyCount, reverse=True)
translator = Translator()
# Modify this part of the previous code
tweet_data = []
for i, tweet in enumerate(tweets[:results_to_retrieve]):
tweet_url = tweet.url
tweet_content = tweet.content
# Summarize tweet using OpenAI GPT
response = openai.Completion.create(
engine="text-davinci-002",
prompt=f"Please summarize the following tweet:nn{tweet_content}nnSummary:",
max_tokens=30,
n=1,
stop=None,
temperature=0.7,
)
summary = response.choices[0].text.strip()
# Translate summary to Chinese
translated_summary = translator.translate(summary, dest="zh-cn").text
print("here is summary",translated_summary);
tweet_data.append((tweet_url, tweet_content, summary, translated_summary))
# Create a DataFrame and save it as a CSV file
df = pd.DataFrame(tweet_data, columns=["Tweet URL", "Tweet Content", "Summary", "Translated Summary (Chinese)"])
df.to_csv("tweet_summaries.csv", index=False)
结尾
在这场信息的海洋中,我们历经波折,终于找到了解决方案。感谢AI的帮助,让我们能够以更高效、更聪明的方式应对挑战。如今,面对纷繁复杂的数据,我们不再惧怕,因为我们知道,有AI陪伴在身旁,共同成长,共创美好未来。让我们一起迈向智能时代,探索更多有趣、有益的知识与技能,为明天的世界添砖加瓦!