Luka Mlinar / Android Authority
如果你读过任何有关ChatGPT和Google Bard等最先进的人工智能聊天机器人的文章,你可能会遇到大型语言模型(LLMs)这个词。OpenAI的GPT系列LLMs为ChatGPT提供动力,而谷歌在其Bard聊天机器人中使用了LaMDA。在引擎盖下,这些都是强大的机器学习模型,可以生成听起来自然的文本。然而,正如新技术通常的情况一样,并非所有的大型语言模型都是平等的。
因此,在这篇文章中,让我们仔细看看LaMDA–为谷歌的Bard聊天机器人提供动力的大型语言模型。
LaMDA是一个完全由谷歌内部开发的对话语言模型。你可以把它看作是GPT-4的直接对手–OpenAI的尖端语言模型。LaMDA这个词代表了对话应用的语言模型。正如你可能已经猜到的那样,这预示着该模型已被专门设计为模仿人类对话。
当谷歌在2020年首次公布其大型语言模型时,它并没有被命名为LaMDA。当时,我们知道它叫Meena–一个经过约400亿个单词训练的对话式人工智能。一个早期的演示显示,该模型能够完全靠自己讲笑话,而不需要参考数据库或预编程的列表。
谷歌将在2021年的年度I/O主题演讲中向更多人介绍其语言模型LaMDA。该公司表示,LaMDA是在人类对话和故事中训练出来的。这使得它听起来更加自然,甚至可以扮演各种角色–例如,LaMDA可以假装代表冥王星甚至是纸飞机说话。
LaMDA可以生成类似人类的文本,就像ChatGPT一样。
除了生成类似人类的对话,LaMDA与现有的聊天机器人不同,因为它可以优先考虑合理和有趣的回复。例如,它避免了像 “好的 “或 “我不确定 “这样的一般性回答。相反,LaMDA优先考虑有用的建议和诙谐的反驳。
根据谷歌关于LaMDA的一篇博客文章,事实的准确性是一个很大的问题,因为现有的聊天机器人在被问及一个新的主题时,会产生矛盾的或完全虚构的文本。因此,为了防止其语言模型出现错误信息,该公司允许它从第三方信息来源获取事实。这个所谓的第二代LaMDA可以像人类一样在互联网上搜索信息。
在我们具体谈论LaMDA之前,值得谈谈现代语言模型的一般工作方式。LaMDA和OpenAI的GPT模型都依赖于谷歌2017年的变形器深度学习架构。变换器本质上使模型能够一次 “阅读 “多个单词,并分析它们之间的关系。掌握了这些知识,训练有素的模型可以做出预测,将单词组合起来,形成全新的句子。
具体到LaMDA,其训练分两个阶段进行:
- 预培训:在第一阶段,LaMDA在一个由1.56万亿个单词组成的数据集上进行训练,该数据集来源于 “公共对话数据和网络文本”。据谷歌称,LaMDA使用的数据集比该公司以前的语言模型大40倍。
- 微调:人们很容易认为,如果你只是给LaMDA提供更多的数据,那么语言模型就会表现得更好。然而,情况并不一定如此。根据谷歌研究人员的说法,微调在提高模型的安全性和事实准确性方面要有效得多。安全性衡量的是模型产生潜在有害文本的频率,包括诽谤和极化的意见。
在微调阶段,谷歌招募了人类与LaMDA进行对话并评估其表现。如果它以潜在的有害方式进行回复,人类工作者将对对话进行注释并对回复进行评分。最终,这种微调改善了LaMDA的响应质量,远远超过了其最初的预训练状态。
你可以在上面的截图中看到微调是如何改进谷歌的语言模型的。中间一栏显示了基本模型的响应情况,而右边则是微调后的现代LaMDA的指示。
LaMDA与GPT-3和ChatGPT:谷歌的语言模型是否更好?
Edgar Cervantes / Android Authority
在纸面上,LaMDA与OpenAI的GPT-3和GPT-4语言模型竞争。然而,谷歌还没有给我们提供直接访问LaMDA的方法–你只能通过Bard使用它,而Bard主要是一个搜索伴侣,而不是一个通用的文本生成器。另一方面,任何人都可以通过OpenAI的API访问GPT-3。
同样,ChatGPT与GPT-3或OpenAI的新型号也不是一回事。ChatGPT确实是基于GPT-3.5,但它被进一步微调以模仿人类对话。它也是在GPT-3最初只针对开发者亮相的几年后出现的。
那么,LaMDA与GPT-3相比如何?下面是对关键差异的简要介绍:
- 知识和准确性:LaMDA可以访问互联网获取最新信息,而GPT-3甚至GPT-4的知识截止日期都是2021年9月。如果被问及更多最新的事件,这些模型可以产生虚构的反应。
- 训练数据:LaMDA的训练数据集主要由对话组成,而GPT-3使用了从维基百科条目到传统书籍的所有内容。这使得GPT-3更具通用性,可用于ChatGPT等应用。
- 人类训练:在上一节中,我们谈到了谷歌如何雇用人类工人来微调其模型的安全性和质量。相比之下,OpenAI的GPT-3没有得到任何人类的监督或微调。这项任务留给了ChatGPT和Bing Chat等应用程序的开发者或创造者。
在这个时候,你不能直接与LaMDA交谈。与GPT-3和GPT-4不同,谷歌没有提供一个API,你可以用来与它的语言模型互动。作为一种变通方法,你可以与Bard对话–谷歌在LaMDA之上建立的人工智能聊天机器人。
然而,有一个问题。你不能通过Bard看到LaMDA所提供的一切。它已经被净化并进一步微调,只作为一个搜索伴侣。例如,虽然谷歌自己的研究论文显示,该模型可以用几种语言进行回应,但目前Bard只支持英语。这种限制可能是因为谷歌雇用了美国的讲英语的 “群众工作者 “来微调LaMDA的安全性。
一旦该公司开始对其他语言的语言模型进行微调,我们可能会看到只支持英语的限制被取消。同样,随着谷歌对这项技术越来越有信心,我们将看到LaMDA出现在Gmail、Drive、搜索和其他应用程序中。
谷歌LaMDA是有生命的吗?
LaMDA成为头条新闻,当时一名谷歌工程师声称,该模型是有知觉的,因为它比以前的任何聊天机器人都能更好地模仿人类。然而,该公司坚持认为,其语言模型不具备智商。
LaMDA是否通过了图灵测试?
是的,许多专家认为,LaMDA可以通过图灵测试。该测试用于检查一个计算机系统是否拥有类似人类的智能。然而,有些人认为,LaMDA只具有让人相信它是智能的能力,而不是拥有实际的智能。
LaMDA代表什么?
LaMDA是对话应用的语言模型的简称。它是由谷歌开发的一个大型语言模型。