Luka Mlinar / Android Authority
如果你读过任何有关ChatGPT和Google Bard等最先进的人工智能聊天机器人的文章，你可能会遇到大型语言模型（LLMs）这个词。OpenAI的GPT系列LLMs为ChatGPT提供动力，而谷歌在其Bard聊天机器人中使用了LaMDA。在引擎盖下，这些都是强大的机器学习模型，可以生成听起来自然的文本。然而，正如新技术通常的情况一样，并非所有的大型语言模型都是平等的。
因此，在这篇文章中，让我们仔细看看LaMDA–为谷歌的Bard聊天机器人提供动力的大型语言模型。
LaMDA是一个完全由谷歌内部开发的对话语言模型。你可以把它看作是GPT-4的直接对手–OpenAI的尖端语言模型。LaMDA这个词代表了对话应用的语言模型。正如你可能已经猜到的那样，这预示着该模型已被专门设计为模仿人类对话。
当谷歌在2020年首次公布其大型语言模型时，它并没有被命名为LaMDA。当时，我们知道它叫Meena–一个经过约400亿个单词训练的对话式人工智能。一个早期的演示显示，该模型能够完全靠自己讲笑话，而不需要参考数据库或预编程的列表。
谷歌将在2021年的年度I/O主题演讲中向更多人介绍其语言模型LaMDA。该公司表示，LaMDA是在人类对话和故事中训练出来的。这使得它听起来更加自然，甚至可以扮演各种角色–例如，LaMDA可以假装代表冥王星甚至是纸飞机说话。
LaMDA可以生成类似人类的文本，就像ChatGPT一样。
除了生成类似人类的对话，LaMDA与现有的聊天机器人不同，因为它可以优先考虑合理和有趣的回复。例如，它避免了像 “好的 “或 “我不确定 “这样的一般性回答。相反，LaMDA优先考虑有用的建议和诙谐的反驳。
根据谷歌关于LaMDA的一篇博客文章，事实的准确性是一个很大的问题，因为现有的聊天机器人在被问及一个新的主题时，会产生矛盾的或完全虚构的文本。因此，为了防止其语言模型出现错误信息，该公司允许它从第三方信息来源获取事实。这个所谓的第二代LaMDA可以像人类一样在互联网上搜索信息。
在我们具体谈论LaMDA之前，值得谈谈现代语言模型的一般工作方式。LaMDA和OpenAI的GPT模型都依赖于谷歌2017年的变形器深度学习架构。变换器本质上使模型能够一次 “阅读 “多个单词，并分析它们之间的关系。掌握了这些知识，训练有素的模型可以做出预测，将单词组合起来，形成全新的句子。
具体到LaMDA，其训练分两个阶段进行：
- 预培训：在第一阶段，LaMDA在一个由1.56万亿个单词组成的数据集上进行训练，该数据集来源于 “公共对话数据和网络文本”。据谷歌称，LaMDA使用的数据集比该公司以前的语言模型大40倍。
- 微调：人们很容易认为，如果你只是给LaMDA提供更多的数据，那么语言模型就会表现得更好。然而，情况并不一定如此。根据谷歌研究人员的说法，微调在提高模型的安全性和事实准确性方面要有效得多。安全性衡量的是模型产生潜在有害文本的频率，包括诽谤和极化的意见。
在微调阶段，谷歌招募了人类与LaMDA进行对话并评估其表现。如果它以潜在的有害方式进行回复，人类工作者将对对话进行注释并对回复进行评分。最终，这种微调改善了LaMDA的响应质量，远远超过了其最初的预训练状态。
你可以在上面的截图中看到微调是如何改进谷歌的语言模型的。中间一栏显示了基本模型的响应情况，而右边则是微调后的现代LaMDA的指示。
LaMDA与GPT-3和ChatGPT：谷歌的语言模型是否更好？
Edgar Cervantes / Android Authority
在纸面上，LaMDA与OpenAI的GPT-3和GPT-4语言模型竞争。然而，谷歌还没有给我们提供直接访问LaMDA的方法–你只能通过Bard使用它，而Bard主要是一个搜索伴侣，而不是一个通用的文本生成器。另一方面，任何人都可以通过OpenAI的API访问GPT-3。
同样，ChatGPT与GPT-3或OpenAI的新型号也不是一回事。ChatGPT确实是基于GPT-3.5，但它被进一步微调以模仿人类对话。它也是在GPT-3最初只针对开发者亮相的几年后出现的。
那么，LaMDA与GPT-3相比如何？下面是对关键差异的简要介绍：
- 知识和准确性：LaMDA可以访问互联网获取最新信息，而GPT-3甚至GPT-4的知识截止日期都是2021年9月。如果被问及更多最新的事件，这些模型可以产生虚构的反应。
- 训练数据：LaMDA的训练数据集主要由对话组成，而GPT-3使用了从维基百科条目到传统书籍的所有内容。这使得GPT-3更具通用性，可用于ChatGPT等应用。
- 人类训练：在上一节中，我们谈到了谷歌如何雇用人类工人来微调其模型的安全性和质量。相比之下，OpenAI的GPT-3没有得到任何人类的监督或微调。这项任务留给了ChatGPT和Bing Chat等应用程序的开发者或创造者。
在这个时候，你不能直接与LaMDA交谈。与GPT-3和GPT-4不同，谷歌没有提供一个API，你可以用来与它的语言模型互动。作为一种变通方法，你可以与Bard对话–谷歌在LaMDA之上建立的人工智能聊天机器人。
然而，有一个问题。你不能通过Bard看到LaMDA所提供的一切。它已经被净化并进一步微调，只作为一个搜索伴侣。例如，虽然谷歌自己的研究论文显示，该模型可以用几种语言进行回应，但目前Bard只支持英语。这种限制可能是因为谷歌雇用了美国的讲英语的 “群众工作者 “来微调LaMDA的安全性。
一旦该公司开始对其他语言的语言模型进行微调，我们可能会看到只支持英语的限制被取消。同样，随着谷歌对这项技术越来越有信心，我们将看到LaMDA出现在Gmail、Drive、搜索和其他应用程序中。
谷歌LaMDA是有生命的吗？
LaMDA成为头条新闻，当时一名谷歌工程师声称，该模型是有知觉的，因为它比以前的任何聊天机器人都能更好地模仿人类。然而，该公司坚持认为，其语言模型不具备智商。
LaMDA是否通过了图灵测试？
是的，许多专家认为，LaMDA可以通过图灵测试。该测试用于检查一个计算机系统是否拥有类似人类的智能。然而，有些人认为，LaMDA只具有让人相信它是智能的能力，而不是拥有实际的智能。
LaMDA代表什么？
LaMDA是对话应用的语言模型的简称。它是由谷歌开发的一个大型语言模型。
