GPT 模型的技术方面探讨:从架构到挑战

释放双眼,带上耳机,听听看~!
本文深入探讨了 GPT 模型的技术方面,从其架构到面临的挑战,涵盖了神经网络、自然语言处理和文本生成等内容。

GPT 模型的技术方面探讨:从架构到挑战

ChatGPT 和 Claude 2 的出现彻底改变了人们和 PDF 文档的交互方式。它们强大的自然语言处理能力允许用户以更高效、更愉快的方式快速提取相关信息。如何发挥它们的潜能依赖于精心设计的提示词。经过大量的实践,我总结了各种提示词的技巧让你通过多个维度从 PDF 中提取有价值的简介。

本文不仅将这些提示词分门别类,还通过大量的案例展示它们的使用场景。我保证有些使用场景一定是你不曾想象到的。

要让 ChatGPT 和本地 PDF 文档互动的话必须要先上传,如果你不知道上传的方法,可以阅读这篇文章:

👉 4种方法让你上传任何文件到ChatGPT: 总有一种适合你

Claude 2 文件上传比较简单,聊天对话框就有可以上传文件的按钮。此外,ChatGPT 还有很多插件支持在线 PDF。

准备工作完成以后,我们就开始吧!

1. 内容摘要

PDF 文件通常包含着大量的信息,但并非所有的信息都和你密切相关。有了 ChatGPT 或 Claude 2 的帮助,我们可以通过内容摘要迅速掌握文档的精髓。我列举了一些典型的提示词,通过不同的技巧,可以帮助总结各种不同类型的 PDF 文档。

1️⃣ 三句话摘要

Prompt: Summarize each section of the PDF in just three concise sentences, capturing the core ideas. (用简洁的三句话概括 PDF 的每个部分,抓住核心思想)

我用 “Research By Vector” 这个 ChatGPT 插件找了一篇关于 GPT 的学术论文 (40页),用 “AskYourPDF” 插件摘要如下:

该 PDF 内容相当广泛,涵盖了自然语言处理(NLP)领域中生成预训练变换器(GPT)的各个方面。由于文档篇幅较长,内容复杂,我将用三句话来概括每一部分,以抓住核心思想。

I. 引言

导言强调了语言在人类交流中的重要性,以及 NLP 如何彻底改变了人机交互。它讨论了 NLP 在各个领域中改变游戏规则的作用。本节为探索 GPT 模型奠定了基础,尤其侧重于其架构、应用和挑战。

A. 动机

本节概述了 GPT 在 NLP 中的变革性影响,并指出了全面回顾文献中的空白。它指出了了解 GPT 架构、潜在应用和局限性的必要性。本节旨在为研究人员和从业人员提供有价值的见解。

B. 相关调查和贡献

本节回顾了有关 GPT 和其他大型语言模型的现有调查和研究。它强调了对特别关注 GPT 架构、应用和挑战的全面调查的需求。本节是本文存在的理由。

C. 系统文献调查

本节介绍了进行全面文献综述的方法。它侧重于同行评审期刊和知名来源的高质量文章。目的是全面了解 GPT 及其应用。

GPT 路线图和 GPT-3

本部分概述了 GPT 模型的历史,从 1960 年的 ELIZA 模型到最新的 GPT-4 模型。它讨论了 GPT-3 的演变和功能,提到了其 1 750 亿个参数及其执行各种任务(如基本数学和代码编写)的能力。它还提到了 GPT-3.5,一个混合了文本和代码的更新版本。

C. GPT 模型的架构

本节将深入探讨 GPT 模型的技术方面,重点是其基于神经网络的架构。它讨论了转换器在语言建模、文本分类和文本生成等 NLP 任务中的应用。该架构基于转换器模型。

挑战与其他调查

本节重点介绍版权问题、有偏见的内容创建、用户依赖性、隐私和安全等关键技术挑战,尤其是在教育领域。本节还回顾了各种类型的 GPT 模型、其工作架构以及在不同 NLP 任务中的应用。本节最后强调了 GPT 模型在 NLP 及其他相关领域日益增长的重要性。

演变与转折点

本节讨论 NLP 模型的演变,以及 GPT-1 是如何向前迈出重要一步的。本节讨论了使用无标记数据进行训练以及针对特定任务对模型进行微调的能力。本节还提供了预训练模型从 1960 年到 2022 年的演变时间表。

GPT 模型的技术方面探讨:从架构到挑战

2️⃣ 子弹式要点摘要 (Bullet-Point Extraction)

Prompt: Extract key bullet points from each section to give an overview of the main topics covered. (从每一节中提取子弹式要点,概述所涵盖的主要议题。)

这种方法总结的摘要结构更清晰。关于 GPT 论文的总结如下:

当然,以下是从每个部分摘录的要点,以概述 PDF 中涵盖的主要议题:

I. 导言

  • 动机: 语言在人机交互中的重要性和 NLP 的作用。
  • 相关研究与贡献: 现有文献和本文旨在填补的空白。
  • 系统文献调查: 进行文献综述的方法。

II. 前言

  • GPT 定义: GPT 模型的各种定义。
  • GPT 的演变: GPT 模型的历史概述和进展。
  • GPT 架构: GPT 模型的技术方面和工作流程。

III. 赋能技术

  • 人工智能: 人工智能在 GPT 模型中的作用。
  • 云计算: 云基础设施的重要性。
  • 5G 及以上网络: 支持 GPT 的网络技术。

IV. GPT 对各种应用的影响

  • 教育: GPT 在教育环境中的作用。
  • 医疗保健: 在医疗和保健领域的应用。
  • 工业: GPT 的工业应用。

V. 项目

  • 特定领域的 GPT: 针对特定领域的专门 GPT 模型。
  • 计算要求: 硬件和软件需求。
  • 可解释性和可解读性: 理解 GPT 决策。

VI. 未决问题和其他技术挑战

  • 数据偏差: 对数据偏差的担忧。
  • 多模式支持: 支持多种类型的数据。
  • 伦理问题: 部署 GPT 时的伦理考虑。

VII. 结论

  • 主要研究结果摘要: 总结本文的主要贡献。

请注意,这只是一个高级概述,实际文件中包含的信息要详细得多。如有任何问题,请随时提问!

GPT 模型的技术方面探讨:从架构到挑战

3️⃣ 关键词提取

提取 PDF 的高频词也能迅速掌握它的关键信息。高频词通常还包含一些术语,我们可以通过这些术语判断它的知识领域。如果是一篇包含了客户评论的文档,我们通过关键词迅速判断客户对产品或服务的态度。

Prompt: Identify and list the most frequently occurring keywords and key phrases in the PDF, to give a snapshot of the main themes. (找出并列出 PDF 文件中出现频率最高的关键词和关键短语,从而概括出主要主题。)

以下内容还是基于 GPT 的论文:

根据从 PDF 各部分提取的文本,以下是出现频率最高的关键词和关键短语,它们是主要主题的缩影:

  1. GPT(生成式预训练变换器): 本文的核心主题,在架构、应用和挑战等不同背景下进行了讨论。

  2. NLP(自然语言处理): 这是一个反复出现的主题,强调了 GPT 模型的主要应用领域。

  3. 架构: 经常在 GPT 模型的构建和功能方面被提及。

  4. 应用: 重点讨论 GPT 模型在教育、医疗保健和工业等不同领域的影响。

  5. 挑战: 多节论述,包括技术难题、伦理问题和局限性。

  6. 演变: GPT 模型的历史发展和进步。

  7. 特定领域: 针对特定行业的专门 GPT 模型。

  8. 计算要求: 讨论运行 GPT 模型所需的硬件和软件。

  9. 微调: 出现在针对特定任务定制预训练 GPT 模型的语境中。

  10. 转移学习(TL): 作为开发特定领域 GPT 模型的一种技术被提及。

  11. 伦理问题: 包括数据偏差、隐私和安全等问题。

  12. 云计算和 5G: GPT 模型的使能技术。

  13. 电子商务: 详细讨论 GPT 模型的具体应用领域。

  14. AI(人工智能): GPT 模型运行的一般环境。

  15. 开放性问题: 涉及未来研究方向和未解决的挑战。

这些关键词和短语全面概述了本文涉及的主要主题和话题。

如果您有任何问题,欢迎随时提出!

GPT 模型的技术方面探讨:从架构到挑战

此外,我们还可以通过 ChatGPT 的代码解释器生成可视化的词云,更直观地掌握 PDF 的内容。

Prompt: Create a word cloud from this PDF by following this straightforward Python method, which involves tokenizing the text and removing stop words. Instead of depending on NLTK’s built-in stop word list, it’s recommended to create a custom stop word list tailored for your needs. Please note that I cannot provide you with a predefined list of stop words. (按照这个简单的 Python 方法从 PDF 创建词云,其中包括标记文本和删除停用词。我们建议您根据自己的需要创建一个自定义的停止词列表,而不是依赖 NLTK 的内置停止词列表。请注意,我无法为您提供预定义的停止词列表。)

GPT 模型的技术方面探讨:从架构到挑战

4️⃣ QA 摘要

QA 摘要可以聚焦于读者或用户最关心的问题,并针对性地给出答案,提高读者或用户的参与度。这种方法适用于技术文档,用户说明等。你也可以把 PDF 转化成的 QA 放在网站上用于内容营销。

Prompt: Transform the main points of each section of this PDF into a Q&A format, making it easier for the reader to understand the essence of the content. (将 PDF 每一部分的要点转换成问答形式,使读者更容易理解内容的精髓。)

这个任务我交给了 Claude 2,下面是其中一部分 QA 的内容:

问:GPT对各种应用程序有什么影响?
答:GPT对教育、医疗保健、商业、娱乐等行业产生了广泛的影响。它可以生成内容、分析数据、优化工作流、提供建议和自动执行任务。但对偏见、安全和社会影响的担忧依然存在。
问:已经开发了哪些有趣的GPT项目?
答:一些项目是SiriGPT,用于游戏的AI地下城,用于营销内容的Copy.ai,优步的柏拉图研究对话系统,用于多语言NLP的Polyglot AI,以及像DeepScribe这样的医疗项目。每个国家都以创造性的方式为不同的用途应用GPT。
问:GPT研究面临的主要挑战和未来方向是什么?
答:关键挑战是领域定制、计算需求、可解释性、多模式支持、偏差缓解、对攻击的健壮性、伦理影响和模型限制。
未来还需要在知识整合、常识推理和可调整的内存/上下文大小等领域进行努力。

GPT 模型的技术方面探讨:从架构到挑战

5️⃣ 表格摘要

表格也是一种直观展示摘要的方式。

Prompt: Summarize the content of this PDF by organizing key points into a Markdown table with columns for section names, key findings, and implications. (将要点整理成 Markdown 表格,并在表格中分栏列出章节名称、主要发现和影响,从而总结 PDF 文档的内容。)

GPT 模型的技术方面探讨:从架构到挑战

2. 信息提取

除了摘要之外,我们经常还需要从 PDF 中提取特定的数据,比如文本、数值、表格、图片或名称。

1️⃣ 关键句提取

关键句也可算是摘要的一种,所不同的是这种方法保留了部分原文的内容。在 PDF 的各个部分提取了关键句并阅读之后,不仅可以了解文档的大概内容,还可以通过关键句了解文档的内容风格。

Prompt: Identify and extract the key sentences from each section (of this PDF) that sum up the primary points. [找出并摘录(本 PDF 文件)每一部分中概括要点的关键句子。]

对于这个40页的 PDF 文档,要浏览每个部分并找出关键句并不是个轻松的活儿。由于 Token 数量的优势,Claude 2 在这类任务中表现更佳。

GPT 模型的技术方面探讨:从架构到挑战

关于 ChatGPT 和 Claude 2 的详细对比,可以阅读这篇文章深入了解:

👉 谁说 Claude 2 超越了 ChatGPT:我用真实案例告诉你谁才是王者

2️⃣ 获取联系方式

利用 ChatGPT 和 Claude 2 强大的自然语言能力,我们可以提取 PDF 文档中比较关键而零碎的信息,比如联系方式。我手头上有三份简历模板 (纯属虚构),现在要提取求职人员的联系方式,包括姓名、邮箱、电话和居住地址。因为涉及到多个 PDF,交给 Claude 2 更方便。提示词如下:

Prompt: Extract all full names, email addresses, phone numbers, and physical addresses listed in the resumes. (提取简历中列出的所有全名、电子邮件地址、电话号码和实际地址。)

GPT 模型的技术方面探讨:从架构到挑战

3️⃣ 获取图片

ChatGPT 还可以从 PDF 文档中获取图片,对于 PDF 格式的杂志,产品目录或图解手册等文档非常方便。这类任务涉及代码层面,可以交给代码解释器操作 (Advanced Data Analysis)。我用以下提示词来获取 GPT 学术文档里的图片:

Prompt: Extract and store all images from the PDF file. Then, gather these images and create a zip file, offering a download link. (提取并存储 PDF 文件中的所有图像。然后,收集这些图像并创建一个压缩文件,提供一个下载链接。)

GPT 模型的技术方面探讨:从架构到挑战

4️⃣ 页面定位

如果有感兴趣的话题,你还可以让 AskYourPDF 插件或者 Claude 2 告诉你该话题出现在第几页,然后你可以针对性地深入阅读。AskYourPDF 更擅长此类任务,不仅处理更快,还帮我定位到了更多的页面。

Prompt: Which pages in this document mention Fine-Tuning? (本文件中哪些页面提到了微调?)

这是 AskYourPDF 返回的结果:
GPT 模型的技术方面探讨:从架构到挑战

这是 Claude 2 返回的结果:
GPT 模型的技术方面探讨:从架构到挑战

3. 批量操作文档

批量操作文档也涉及代码层面,可以交给 ChatGPT 的代码解释器来操作。当然,也可以让 ChatGPT 帮你写好 Python 代码,然后你可以在本地运行。关于批量操作文档我就不列举实际的案例了,感兴趣的可以阅读这篇文章深入了解:

👉 1分钟处理1000个文档:ChatGPT代码解释器就是这么牛

我来提供一些提示词模板:

1️⃣ 合并多个PDF

Prompt: Combine multiple PDF files into a single PDF document in a [specified order: alphabetical, reverse alphabetical, custom list] (按[指定顺序:按字母顺序、反向字母顺序、自定义列表]将多个 PDF 文件合并为一个 PDF 文档)

2️⃣ 按页面分割 PDF 文件

Prompt: Separate the PDF into smaller PDFs based on [page ranges: e.g., 1-5, 6-10]. (根据 [页面范围:如 1-5、6-10] 将 PDF 分成更小的 PDF)

3️⃣ 删除页面

Prompt: Remove [specified pages: e.g., 3, 7-9] from multiple PDF files. (从多个 PDF 文件中删除 [指定页面:如 3、7-9])

4️⃣ 批量 PDF 加密

Prompt: Apply password protection to multiple PDF files using a [specified encryption method: AES-128, AES-256]. (使用[指定加密方法:AES-128、AES-256]对多个 PDF 文件应用密码保护)

5️⃣ 批量 PDF 解密

Prompt: Remove password protection from multiple PDF files. (移除多个 PDF 文件的密码保护)

6️⃣ 批量提取图片

Prompt: Extract all images from multiple PDFs and save them in a [specified folder: e.g., “MyImages”]. (从多个 PDF 文件中提取所有图像并保存到[指定文件夹:如 “MyImages”])

7️⃣ 批量加水印

Prompt: Add a [text or image watermark] to multiple PDF files with a [specified position: center, top-left, bottom-right]. (为多个 PDF 文件添加[文本或图像水印],并指定[位置:居中、左上角、右下角]。)

8️⃣ 批量压缩 PDF

Prompt: Reduce the file size of multiple PDFs to a [specified percentage of original size: e.g., 50%, 75%] while retaining quality. (在保持质量的前提下,将多个 PDF 文件的大小减小到[原始大小的指定百分比:如 50%、75%])

除此之外,代码解释器还可以帮你把多个PDF一起转化为其他格式,比如 Word,Markdown 等等。

4. 多文档对比

我们经常会更新 PDF 文档从而产生新版本。通过人工阅读来对比新旧版本的差异是个费力活儿。这个任务也可以交给 ChatGPT 的代码解释器。我之前在如何让 ChatGPT 联网的文章里介绍了如何使用 ChatGPT 的 New Bing 这个功能来联网。然而后来 ChatGPT 取消了这个功能,因此我修改了文章。现在我把这两个版本的文章做成两个 PDF 文件,交给代码解释器来对比并高亮显示它们之间的差异,提示词如下:

Prompt: Could you please compare the disparities between these two PDF documents and generate an HTML file that presents a line-by-line comparison using the Python difflib library? Lastly, could you also provide a link to download this HTML file? (能否请您比较一下这两个 PDF 文档之间的差异,并使用 Python difflib 库生成一个逐行比较的 HTML 文件?最后,能否提供下载 HTML 文件的链接?)

GPT 模型的技术方面探讨:从架构到挑战

当然,也可以用 Claude 2 告诉我修改的内容,不必涉及代码层面。

Prompt: I have two versions of articles in PDF format. Can you identify and list all the textual changes made from the older version to the newer one? (我有两个版本的 PDF 格式文章。您能否识别并列出从旧版本到新版本的所有文字改动?)

以下是 Claude 2 的响应:

根据对两个 PDF 文件的比较,以下是文章从旧版本到新版本的主要文字变化:

添加了对 WebPilot 和 Link Reader 插件的描述,作为 Plus 用户在 “Browsing with Bing “功能停止使用后的浏览器扩展的替代方案。
删除了针对 Plus 用户的 “Browsing with Bing “功能。
添加了在 Chrome、Edge 和 Firefox 上安装 WebChatGPT 浏览器扩展的说明。
已添加有关如何使用下拉菜单自定义 WebChatGPT 插件功能的详细信息。
已添加 WebChatGPT 如何使用默认提示模板工作的说明。
已添加在 WebChatGPT 中创建自定义提示模板的部分。
已添加有关 WebChatGPT 中一键生成提示功能的详细信息。
删除了比较 ChatGPT 3.5 和 ChatGPT 4 网络功能的部分。
删除了激活 “用 Bing 浏览 “并使用它的说明。
更新了结论,重点放在 WebChatGPT 浏览器扩展而不是 Bing 上。
删除了社交媒体帖子示例。
因此,总的来说,主要改动是增加了 WebChatGPT 浏览器扩展的详细信息,删除了对已停用的 “Browsing with Bing “功能的引用,并增加了有关 WebPilot 和 Link Reader 插件的信息。新版本只关注为免费和付费用户实现网络访问的方法。

GPT 模型的技术方面探讨:从架构到挑战

5. 情感分析

ChatGPT 和 Claude 2 强大的自然语言处理能力 (NLP) 也可以用来分析文本中的情感,无论是正面、负面还是中性。 它可以帮助用户更好地理解 PDF 中文本的整体基调或情感。这个功能在学术研究、市场调查、商业提案等场景中非常有用。

比如说我这里有一个运动鞋的商品评论,现在要分析正面评论,负面评论和中性评论的数量。这个任务交给 Claude 2 更好。

Prompt: I’ve created a PDF document containing customer reviews. Could you please conduct a sentiment analysis on it to determine the total numbers of positive, negative, and neutral reviews? (我已经创建了一个包含客户评论的PDF文档。请您对其进行情绪分析,确定正面、负面和中性评论的总数?)

Claude 2 的响应如下:

基于我对PDF文档中的100条客户评论的分析,以下是对这种情绪的总结:
正面评价:53。
负面评论:37条。
中立评论:10。
最积极的主题是舒适性、风格和质量。
最负面的主题是规模问题、耐用性问题和糟糕的客户服务。
总体而言,正面的评论多于负面的评论,这表明人们对这些运动鞋的反馈总体上是积极的。
但负面反馈突出了一些在规模一致性、耐用性和客户服务方面需要改进的领域。

GPT 模型的技术方面探讨:从架构到挑战

以下是一些参考提示词:

  1. 情绪随时间变化趋势:
    • I have a collection of monthly reports in PDF format. Can you analyze the sentiment for each report and show me if there has been a change in tone over the last year? (我有一份PDF格式的月度报告集。你能分析一下每份报告的情绪,并告诉我过去一年里语气是否发生了变化吗?)
  2. 对比两个文档的情绪:
    • I have two different market analysis reports. Could you analyze and compare the sentiment between these two PDFs? (我有两份不同的市场分析报告,你能分析比较这两份PDF的情绪吗?)
  3. 分析法律文件中的情绪:
    • Could you analyze the sentiment of this legal contract? I’m particularly interested in any sections that come across as adversarial or contentious. (你能分析一下这份法律合同的情绪吗?我对任何给人留下敌意或有争议的部分特别感兴趣。)
  4. 采访中的情绪:
    • I have transcribed multiple interviews into a PDF. Can you analyze the sentiment of the responses given by each interviewee? (我已经将多个采访转录成了PDF。你能分析一下每个受访者回复的感受吗?)
  5. 邮件通信情绪:
    • I’ve compiled a PDF of email correspondence between our team and a client. Could you analyze the sentiment to understand the quality of our ongoing relationship? (我编辑了我们团队和客户之间的电子邮件通信PDF。你能分析一下其中的情绪,以了解我们正在进行的关系的质量吗?)

总结

ChatGPT 和 Claude 2 在阅读 PDF 上各有千秋,在不同的场景下可以发挥各自的优势。如果以上的提示词对你有用的话,可以考虑用谷歌浏览器插件保存起来并随时调用。具体方法可以参考这篇文章:

👉 如何最方便地保存喜欢的 ChatGPT 提示词并一键调用

分享完毕,感谢阅读🤗 欢迎点赞,收藏,评论

更多免费原创教程,🚀关注公众号:我的AI力量

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

AI环境准备环境安装指南

2023-11-23 21:09:14

AI教程

Photoshop 2023 Beta发布:AI绘图功能大幅升级

2023-11-23 21:22:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索