1. GPT-4 面世
1.1 GPT-4 模型发布,科技行业热火朝天
北京时间 3 月 15 日凌晨 1 点,OpenAI 总裁兼联合创始人 Greg Brockman 在推特上发帖开始推行 GPT-4:
相比于 ChatGPT,GPT-4 在文字问答上可以接收 25 万字,有着近 8 倍的能力提升,这对语义理解模型、数据量和优质数据的筛选都有着很高的要求,因为文字问答和文字生成是完全不同的概念,但 GPT-4 做到了这一点,还做得不错。
我们知道 ChatGPT 是基于大规模语言模型的对话系统,其中训练时的海量数据、超大的规模架构和技术长期的积累,是目前国内大部分做 ChatGPT 的厂商遇到的难点。
1.2 GPT-4 能力大增,可解析更多文本,也可识别图片
而 GPT-4,又是在 ChatGPT 的基础上进一步优化了架构模型,加大了训练数据的结果。不仅如此,GPT-4 还支持图像识别,并理解图片的内容。
GPT-4 介绍视频【掘金不支持插入视频,链接放下面了】:
OpenAI 的工程师也说道:GPT-4 是世界第一款高体验,强能力的先进 AI 系统,我们希望尽快把它推向所有人
视频中举例了 GPT-4 模型的最新能力,比如解决一些生活难题:
如何清洁装满食人鱼的水箱(How do you clean the inside of a tank filled with piranhas)?
GPT-4 给出了完整答案:
- 将绳子系在金属垫圈上(Tie a string to a metal washer)
- 将金属垫圈粘在海绵上(Glue the metal washer to a sponge)
- 将海绵放入水族箱(Lower the sponge into the aquarium)
- 使用磁铁引导海绵(Use a magnet to guide the sponge)
- 用绳子取回海绵(Retrieve the sponge with the string)
除了解决日常难题,GPT-4 还提供了哥特式浪漫故事的写作能力,编写 python 脚本做数据分析的能力。
写一个关于电脑的哥特式浪漫故事(Write a gothic romance about a computer)
编写一个 python 脚本来分析我每月的购买量(Write a python script to analyze my monthly purchases)
并且在图片识别,和解决物理问题时也毫不含糊:
Q:What happens when the glove drops,这个手套掉下来会发生什么?
A:It will hit the wood plank and the ball wil fly up,击中木板并弹飞气球。
2. GPT发展历程
五年技术积累,一朝闻名天下
GPT, 全称是 Generative Pre-Trained Transformer,即根据基础算法模型 transformer,使用预训练技术得到的通用文本模型。
2018 年 6 月,OpenAI 发布了第一版 GPT-1
GPT-1 使用了 transformer 模型(NLP、翻译软件等也在用)的 decoder 架构+任务微调的形式,简单来说就是输入一种语言的句子,然后将其翻译成另外一种语言进行输出。
并且 GPT-1 在任务过程中,会把上游句子的结果作为参数(当然中间进行了一些转换,比如句子向量)作为新特征传输到下一次任务中,以此来训练模型的准确度,相当于机器学习。
这时的 GPT 还没有什么特别出彩之处,使用的模型也是“平平无奇”,毕竟当时如火如荼的 NLP,也用到了 transformer。
到了 2019 年 2 月,第二版 GPT-2 发布
相比第一版,OpenAI 优化了 decoder 网络架构,以及增加了数据规模约 10 倍,具体呈现在预训练数据和任务微调上。
整体来说,GPT-2 是一个不小的优化,但和谷歌同期产品 BERT 的对比,还是稍显逊色,所以 GPT-2 也没有登上 AI 模型的热榜第一名。
到了 20 年 5 月,OpenAI 发布了 GPT-3
一年多以后,OpenAI 的 GPT-3 带着更优的网络架构,更大的数据规模(比起 GPT-2 约增加了 100 倍)出场了,这次训练出的模型已经初露峥嵘,也奠定了 GPT 帝国的基础。
但实际上,GPT-3 和 GPT 第二版的模型和训练方式上没有本质上的区别,只是训练的数据更多了,模型内容更大了。
2022 年 11 月 30 日,ChatGPT 正式发布
GPT-3 两年以后以后,OpenAI 又发布了 ChatGPT 和 InstructGPT 这对姐妹模型,其中 ChatGPT 是 GPT-4 之前发布的一个预热模型,又叫做 GPT-3.5。
相比 GPT-3,ChatGPT 使用了指示学习和人工反馈的强化学习来指导模型的训练,共分为三个步骤:
- 有监督微调(SFT)
- 奖励机制(RM)训练
- 通过 PPO 根据奖励模型进行强化学习
总而言之,这时的 ChatGPT 已经能听懂人话、识别代码,做一些基本问答和小作文写作的工作了。
以下是 GPT-3.5 模型的对话问答:
做二元一次方程:
菜谱:
当然,也会出现一些意料之外的对话(写情诗,你给我看这个?)
对对联:
相比 GPT-3,ChatGPT 已经可以做一些简单问答,基本算术以及作文生成相关的工作了。但偶尔也会一本正经的胡说八道,并且对自己的回答坚信不疑。
根据小说记载,三体人会在四百年后到达地球,当时的时间背景是2007年,所以ChatGPT的答案完全不对。
要实现以上对话,ChatGPT 至少集成了五个方面的模型能力:
模型 | 能力 | 想要达到的效果 |
---|---|---|
GPT-3 | 自然语言基础模型 | 理解人类语言,让 GPT 说话能够自然流畅 |
Codex | 代码语言基础模型 | 理解机器代码,给代码找BUG/生成简单代码 |
davinci-instruct-beta | 监督下的指令微调 | 听从人类指令,并生成答案 |
text-davinci-001/002 | 人类反馈指令微调 | 生成人类更喜欢接受的答案 |
text-davinci-003 | 强化学习指令微调 | 持续强化上述的对话能力 |
2023 年 3 月 15 日,GPT-4 发布
GPT-4 在 GPT-3.5 的模型基础上,不仅模型更为安全可靠,文本更富有创意,而且还扩展了新能力。它的主要优化和突破有:
- 更大模型加持:GPT-4 达到了 1700 亿+个模型参数,相比 GPT-3 大了约 10 倍,在处理大规模文本数据、文本生成和语言建模方面性能更好;
- 训练效率更高效:GPT-4 用了更优的训练技术和算法模型,使得训练效率极大提升,在处理大规模文本数据和模型训练时更加可靠;
- 数据安全做的更好:GPT-4 在数据加密和隐私文本上做了更多处理,使得其对话的安全性大大增加;
- 新增多模态模型能力:除了文本,GPT-4 还可接收图像输入,并对其进行图像内容识别,然后以文本的方式输出答案。
为了比对两个模型之间的应用区别,OpenAI 还根据不同场景的测试和专业考试上对它们做了分析。
比如,一些专业测评和学术基准测试上,GPT-4 的表现和人类水平相当:其中包括但不限于律师专业测试,SAT 测试(美国高考),GPT-4 的分数都在应试者前 10% 左右。其中,SAT 阅读考试甚至拿到了 710+ 的水平(分数线前 7%),上斯坦福都轻轻松松。相比而言, GPT-3.5 的得分只能在倒数 10% 左右。
和人类对比,GPT 在这么短的时间内产生飞跃式的成绩跳跃,会被怀疑在考试时附近坐了个学霸。
而 GPT-4 不仅是学霸,还是学神,它可以在短时间内读完一整篇 InstructGPT 的论文,并总结出摘要。它还可以快速阅读税务法则,来计算夫妻一年要缴纳多少税,并且写出计算过程。对此,Greg Brockman 大为赞赏,因为这些税务文件,他自己读了半个小时也没搞懂,然而 GPT-4 可以快速给出答案。
在 GPT-4 发布的公告中,OpenAI 说明了这个模型训练完成于 2022 年 8 月,已经接受了 6 个月左右的安全培训,在内部对抗真实性的评估中,GPT-4 的得分比 ChatGPT 高出很多。这也意味着,GPT-4 的商业化进程,又在前面的基础上前进了一大步。
接下来,可能就是成本和需求实现完善度的衡量了,毕竟,ChatGPT 一条问答的初始成本就需要几毛钱,训练一次的代价就是几百万美金,而 GPT-4 的模型版本更大,数据更多,运行起来的成本也会越发高昂。
微软 Bing 搜索已经集成 GPT-4
微软对 OpenAI 的投资总计高达一百多亿美金,约合 900 亿元。在 GPT-4 发布的几周前,微软已经在新版必应搜索用上了 GPT-4,微软 CEO 纳德拉表示:它们的搜索已经优于谷歌了!
所以,如果你并非开发者或者付费用户,但实在想尝鲜,微软的新版 Bing 或许是一个很好的选择。
3. 智能化和商用化
回首 GPT 的发展历程,我们发现 GPT 一直是在围绕搜索和创造两大方面来不断完善模型,OpenAI 的工程师也说过:GPT 旨在放大人类的可能,实现科技的价值。
想象一下,如果你的孩子读 5 年级,拥有一个无限耐心的 GPT 教学助手一定是非常美好的事情。
这只是在教培领域,随着 GPT 的不断优化,它未来在商业化领域也必定会遍地开花。比如护工行业,GPT-4 的视觉功能已经可以帮助盲人和低视力用户;互联网行业,GPT 可进行商业化的数据分析、代码编程等;自媒体行业,GPT 可以自动生成用户喜欢的宣传和推广文案。
而同时,2023 年 3 月 16 日下午 15 点,百度被称作中国版 ChatGPT 的 ”文心一言“ 发布会结束了,发布会分别向观众科普了 ”文心一言“ 的技术分析,商业价值等元素。从推理部署、弹性服务化、自动混合并行推理等能力来看,文心一言在国内市场还是挺大的,并且在技术层面比国内其它厂商也做得更好一些。
希望未来国内的生成式对话产品也飞速发展(虽然此前在 GPT-4 发布时,有百度的内部员工调侃:文心一言的发布会可能变 “遗言”),但我个人觉得 OpenAI 的 GPT 不可能完全占领国内市场,要么会合作多赢,要么就百家争鸣。
未来无限可能,我们拭目以待!