导语 | 美国人工智能研究机构 Open AI 发布了最新的大语言模型 ChatGPT,其惊艳的性能在海内外掀起了一波又一波热潮。腾讯云开发者先后发布了解读作品《算法工程师深度解构 ChatGPT 技术》、《3小时开发 ChatGPT 微信小程序》、《对标ChatGPT:新 AI 助手 Claude 来了》,受到各领域开发者关注。本次,腾讯研究院资深专家、前沿科技研究中心主任王强,将以十问十答的形式,用通俗的语言,与大家交流其最新、最受关注的问题。
01、ChatGPT现在有多火?
2022年11月30日, ChatGPT 横空出世,在全球范围内形成了热烈的讨论。根据 Similarweb 的数据,今年1 月,平均每天约有 1300 万独立访客使用 ChatGPT,是去年 12 月份的两倍多,累计用户超1亿,创下了互联网最快破亿应用的记录,超过了之前 TikTok 9个月破亿的速度。
除了广大用户千奇百怪的问题,引发了社交媒体的大量传播,ChatGPT 在各领域的秀肌肉,也进一步强化了其知名度。美国宾夕法尼亚大学发现,ChatGPT 能够通过该校工商管理硕士 MBA 课程的期末考试。《自然》杂志1月24日宣布,将人工智能工具列为作者的论文,不能在杂志上发表。《自然》称,作者身份意味着对作品负有责任,而人工智能工具无法承担这样的责任。据传,ChatGPT 还成功通过了谷歌的编程面试,拿到了年薪18.3万美元的L3工程师offer。世界各地的网友贡献了多样化的 ChatGPT 体验案例,详见《 ChatGPT 还有这种玩法?》。
02、ChatGPT背后的核心技术?
ChatGPT 是生成式 AI 的一种形式,Gartner 将其作为《 2022 年度重要战略技术趋势》的第一位。Gartner 预测,到 2025 年,生成式 AI 将占到所有生成数据的10%,但目前这个比例还不足1%。
ChatGPT 背后的支撑是人工智能大模型,这个技术点在去年《2022十大数字科技前沿应用趋势》报告中做过详细的阐述:当前的人工智能大多是针对特定的场景应用进行训练, 生成的模型难以迁移到其他应用, 属于“ 小模型”的范畴。整个过程不仅需要大量的手工调参, 还需要给机器喂养海量的标注数据,这拉低了人工智能的研发效率, 且成本较高。
大模型通常是在无标注的大数据集上, 采用自监督学习的方法进行训练。之后,在其他场景的应用中,开发者只需要对模型进行微调, 或采用少量数据进行二次训练, 就可以满足新应用场景的需要。这意味着,对大模型的改进可以让所有的下游小模型受益, 大幅提升人工智能的适用场景和研发效率, 因此大模型成为业界重点投入的方向,Open AI、谷歌、脸书、微软, 国内的百度、阿里、腾讯、华为和智源研究院等纷纷推出超大模型。特别是Open AI GPT 3 大模型在翻译、问答、内容生成等领域的不俗表现, 让业界看到了达成通用人工智能的希望。当前 ChatGPT 的版本为GPT 3.5,是在 GPT3 之上的调优,能力进一步增强。
ChatGPT 使用的核心技术之一是 Transformer。这从其全称上也能看得出来,Chat Generative Pre-trained Transformer。Transformer 技术是近几年人工智能技术最大的亮点之一,他是 Google 于 2017 年提出的一种采用注意力机制的深度学习模型,可以按输入数据各部分重要性的不同,而分配不同的权重。Transformer 的精度和性能上都要优于之前流行的 CNN(卷积神经网络)、 RNN (循环神经网络)等模型,大幅提升了模型训练的效果,让人工智能得以在更大模型、更多数据、更强算力的基础上进一步增强能力。
此外,他还具有很强的跨模态能力,不仅在 NLP (自然语言理解)领域表现优异,在语音、图像方面也显示出了优异的性能。对 ChatGPT 技术原理感兴趣的开发者详见《算法工程师深度解构 ChatGPT 技术》。
03、 ChatGPT为什么能成功?
ChatGPT 是非常成功的一次从技术研发到工程化、再到点燃大众热情的经典案例。
- 技术创新
Open AI 持续的研究中,不断探索引入新的技术路线。这次引入的强化学习方法,很好地提升了模型的效果。在研究中,Open AI 在模型训练中,引入了人类专家。专家一方面帮助 ChatGPT 撰写更符合人类习惯的回答,另一方面,也对生成的结果进行排名,通过这样的奖励机制,实现模型的微调优化。
- 组织文化
Open AI 自成立之初,就致力于打造通用 AI 的能力,并坚定的持续投入,这是 ChatGPT 成功的一大关键因素。在这样的愿景下,吸引了一大批高水平的人才,在没有任何商业 KPI 的情况下心无旁骛地开展研发工作,最终取得了重大的突破。
- 反馈机制
通过用户的使用, Open AI 可以获得用户对于模型优劣和使用体验的反馈,从而形成了模型使用到体验反馈的闭环,从而进一步优化模型。此外,Open AI 还组织专门的反馈竞赛,鼓励用户针对回答中的风险危害、新颖的回答建议等方面给予反馈,参赛者有机会赢取 500 美元的 API 积分,并可兑换相应奖品。
- 项目策划
一个影响力出圈的技术,与其项目策划密不可分。ChatGPT 的问答和多轮对话形式,很好地激发了大众的热情和创造力,大家基于各自感兴趣的话题自由发挥,或幽默搞笑、或严肃认真,在朋友圈和媒体上屡屡刷屏。包括之前 GPT3 的推出,他写新闻、作诗、翻译、编代码等能力,也是在社会上产生了热议和讨论。这种很好地与公众互动的项目设计策略,也很值得我们学习。包括之前 AlphaGo 的围棋大战、 Deepmind 破解蛋白质折叠结构难题,都是很好的议题任务设置。
04、ChatGPT是否开源?
尚未开源,目前是以 API (应用程序编程接口)调用的方式服务,目前也暂无开源计划。
Open AI 不 Open ,是业界很多人诟病的地方。开源是多年来软件和互联网产业之所以蓬勃发展的核心动力之一。开源的方式可以调动全球开发者的积极性,每个人都可以下载源代码使用,并进行优化和在社区分享。这种用全社会的力量来创新的机制,大幅加速了技术科研攻关、产业应用的进程。
关于 ChatGPT 为何不开源,业界也有一些专家表示认可,因为人工智能技术至今为止还是一个黑盒,关于其内部的机制尚未可知,如果代码开源,很难避免该技术用于一些不利于社会和人类的方面。此外,自从 Open AI 放弃了非盈利组织的定位,接受微软等投资后,从商业化的角度考虑,也会采取整体模型闭源,开放应用接口的方式来推广,同时也会开源少部分模型,丰富开发者生态。
05、ChatGPT免费吗?未来能赚钱吗?
当前,普通用户使用 ChatGPT 是免费的。
据《财富》,2022年,OpenAI 公司的收入预计不足 3000 万美元,净亏损 5.45 亿美元。而随着 ChatGPT 的火爆,可能进一步增加其亏损,因为用户每一次调用,就会让 Open AI 付出更多的计算资源和带宽成本。
当然,Open AI 也开始了商业化的尝试,2023 年 2 月,OpenAI 宣布推出付费试点订阅计划 ChatGPT Plus,定价每月20美元。付费版功能包括高峰时段免排队、快速响应以及优先获得新功能和改进等。
Open AI预测,随着 ChatGPT 成为吸引客户的重要工具,其收入将会快速增长,预计 2023 年收入 2 亿美元, 2024 年收入预计超过 10 亿美元。
此外,据报道,微软正在洽谈向 OpenAI 投资约 100 亿美元,也让其估值达到了290 亿美元。而此前,2019年微软曾向 OpenAI投资 10 亿美元,为其提供了大量的资金支持和 Azure 云算力支持。
06、ChatGPT会替代搜索引擎吗?
短期来说,不会。长期来看,有可能通过融合,形成新型的搜索引擎。
目前的 ChatGPT 给出的答案参差不齐,既可以给出很多问题的简要答案,甚至能写一篇符合初级规划师水平的产业规划报告,但 ChatGPT 也不可避免地经常出现“一本正经的胡说八道”的情况,这使得其置信度还需进一步提升。而且 ChatGPT 目前的知识库主要还是2021年9月之前的数据,缺乏新数据,这也大大限制了其提供新信息的能力。而同时,Open AI 还推出了 WebGPT ,它可以在网络上查找信息并提供信息来源,这将很大程度上补充 ChatGPT 的实时信息源,从而进一步优化答案。
在搜索引擎的逻辑下,选择权在用户,搜索引擎一般会给出众多相关结果,根据用户的点击反馈来持续优化搜索结果。近年来,搜索引擎也一直在做结果唯一化的尝试,比如直接在搜索框中提供唯一的答案选择,但目前可提供唯一结果的比较有限,且无法开展多轮对话。
ChatGPT 的推出,给搜索引擎厂商带来了很大的震动,也启发了其打造搜索新体验的方向。谷歌两位创始人多次召开讨论会,以应对 ChatGPT 可能带来的颠覆搜索引擎业务的潜力。谷歌 CEO Pichai 表示,将在近期推出类似 ChatGPT 的基于人工智能的大型语言模型,一款由 LaMDA 提供支持的对话AI服务 Bard,让用户以“搜索伴侣”的形式使用。微软已经在 Bing 搜索引擎中添加了 ChatGPT 功能,并开展了小流量测试。百度也计划在3月推出新功能,在搜索引擎中加入类似 ChatGPT 的对话式机器人“文心一言”。
我们也可以看看 ChatGPT 自己的回答:
07、还有哪些类似ChatGPT的模型和应用?
ChatGPT 是典型的 AIGC 大模型,目前国内外在文本、代码、图像、视频、3D等领域都涌现出相应的生成模型。
当前,ChatGPT 一个有力的竞争者是Claude,他是 Anthropic 近期推出的生成式Al模型。Anthropic 由几位前 Open Al 的研究员在2021年创立,包括OpenAl前研究副总裁 Dario Amodei、GPT-3 论文一作 Tom Brown 等人。对 Claude 背后技术感兴趣的开发者,详见《对标ChatGPT,新AI助手Claude来了》。据《金融时报》报道,2022 年底,Google 向这家初创公司投资了约 3 亿美元。相比 ChatGPT,Anthropic 在其网站上更强调其构建“可靠、可解释和可操纵的人工智能系统”的工作。
腾讯的混元大模型,集 CV(计算机视觉)、NLP (自然语言理解)、多模态理解能力于一体,先后在 MSR-VTT、MSVD 等五大权威数据集榜单中登顶,实现跨模态领域的大满贯。2022 年 5 月,腾讯“混元”AI大模型在 CLUE(中文语言理解评测集合)总排行榜、阅读理解、大规模知识图谱三个榜单同时登顶,一举打破三项纪录。12 月,混元推出国内首个低成本、可落地的NLP万亿大模型,并再次登顶自然语言理解任务榜单 CLUE。混元用千亿模型热启动,最快仅用 256 卡在一天内即可完成万亿参数大模型 HunYuan-NLP 1T 的训练,整体训练成本仅为直接冷启动训练万亿模型的1/8。
图片来源:红杉资本《Generative AI: A Creative New World》
08
ChatGPT等大模型
会让我们实现通用人工智能吗?
自从包含 1750 亿参数的 GPT3 从 2020年6月推出以来,业界对于达成通用人工智能的探讨又进一步热了起来。正如微软 CEO 纳德拉近日在接受华尔街日报访谈时表示, GPT 的发展不是线性的,而是指数级变化的,所以相比较 GPT3 ,当前的GPT3.5 已经展现出更强的能力。业界普遍预测,GPT4 将在今年推出,并具备更强大的通用能力。
但同时,我们也需要有清晰的辨识, AI 并非万能。即无论 AI 如何强大,其解决的问题,也只是人类面临所有问题的很小一部分。因为现实世界中有海量的问题并不是数学问题,也就不可能通过计算来求解。目前人工智能已经找到解决方案的问题,也只是可计算问题的一小部分。
09、ChatGPT可能产生哪些社会或伦理问题?
ChatGPT 也面临人工智能长期以来面临的问题,如歧视等伦理问题,被滥用于诈骗、欺诈、政治造谣、伪造身份等安全问题,以及知识产权问题。最近,OpenAI表示,正考虑在 ChatGPT 中添加模型水印,即监测模型可以识别的特殊标记,以降低模型滥用的问题。
此外,针对大众普遍担心的失业问题,ChatGPT 在 LinkedIn 上分享了一篇帖子写道:“AI 不会取代你。一个使用 AI 的人将取代你”。
10、ChatGPT的未来
将带来哪些变革和新机会?
ChatGPT 自己的回答,已展现出其发展的一种典型路径,即作为人类的陪伴机器人。
但更重要的,ChatGPT 会成为未来人机交互的一个新入口,很可能改变现有 APP 的交互方式,以更为自然的对话方式,让用户来使用软件和调用技能。例如,未来在文档编辑软件中,人们可以通过描述需求,让软件直接生成文字内容,或者生成一个图形,甚至直接进行修图等工作。在编程方面,ChatGPT 这种即时编程的方式,将改变传统的工作方式和应用交互规则,推动产业进入软件3.0的新阶段。
除此之外,ChatGPT 未来还可以有多样化的应用前景:
一是现在火热的数字人,好看的皮囊下,则需要类似 ChatGPT 这样的模型提供对话能力,才能让数字人具备有趣的灵魂,更好地陪伴和服务人。同时,该能力也可以嵌入到机器人身体内,让未来的人形机器人更聪明,更像人。
二是大量的****开发者可以利用 ChatGPT 这样的底层平台,在大模型基础上根据不同行业和场景进行模型调优,从而创造出各类满足用户需求的丰富应用,从而形成对话式 AI 的生态。例如国外火爆的 Jasper,通过在 GPT3 模型上的微调,可以帮助用户撰写营销文案,甚至有人在上面完成了一部 12 万字的小说,IBM、Airbnb、Autodesk 等大企业都是其企业用户。普通用户可以免费试用1万个单词的版本,之后可以29美元订购2万个单词,或用59美元订购生成5万个单词的权限。
三是在教育、医疗、广告营销、电子商务、市场和战略咨询、企业服务、编写代码等专业服务领域,成为更为专业的人类助手,不仅可以生成内容,还可以调用各种专业能力,甚至替代部分初级的专业工作。企业服务方面,2月8日,微软推出了由 ChatGPT 提供技术支持的高级 Teams 产品, ChatGPT 可以自动帮助参会者生成会议记录,即使没有参加会议,智能回顾功能也能帮助用户生成会议记录和要点。如果有被同事在会议中提到,ChatGPT 还可以给用户提供个性化的时间线标记,以快速查看分享和讨论的内容,该服务将在 6 月份每月收费 7 美元,然后在 7 月份增加到 10 美元。代码编写方面,近期特斯拉前任 AI 总监 Andrej Karpathy 透露,现在他80%的代码都是由AI生成的(GitHub Copilot),而且有80%的准确率。
四是与其他模态AI工具的组合式创新,ChatGPT 同文生图、文字生成视频、甚至未来直接生成 3D 模型的工具集成,可以带来 UGC 内容的极大丰富,成为内容工业化的核心引擎。
未来,ChatGPT 与更多的 AI、云计算等信息技术的集成创新,将创造改变生产力曲线的工具,成为经济发展新动力。
腾讯云开发者公众号 后台回复 0214 领源码
你可能感兴趣的腾讯工程师作品