从谷歌离职一年之际,「人工智能教父」Hinton接受了采访。
——也许是因为徒弟Ilya终于被从核设施中放了出来?(狗头)
视频地址:https://www.youtube.com/watch?v=tP-4njhyGvo
当然了,采访教父的小伙子也非等闲之辈,Joel Hellermark创立的Sana已经融资超过8000万美元,
他本人也曾因为在推进AI方面的工作,而入选福布斯30 under 30(30位30岁以下精英)。最近,《卫报》又将Joel评为35岁以下改变世界的前10名。
——这个13岁学编程、16岁开公司的小天才,与真正的科学家之间,又能碰撞出怎样的火花呢?
下面,让我们跟随两人的对话,一同探寻AI教父的心路历程,以及幼年Ilya的一些趣事。
剑桥白学了
为了弄清楚人类的大脑如何工作,年轻的教父首先来到剑桥,学习了生理学,而后又转向哲学,但最终也没有得到想要的答案。
「That was extremely disappointing」。
于是,Hinton去了爱丁堡,开始研究AI,通过模拟事物的运行,来测试理论。
你在爱丁堡时候的直觉是什么?
「在我看来,必须有一种大脑学习的方式,显然不是通过将各种事物编程到大脑中,然后使用逻辑推理。我们必须弄清楚大脑如何学会修改神经网络中的连接,以便它可以做复杂的事情。」
「我总是受到关于大脑工作原理的启发:有一堆神经元,它们执行相对简单的操作,它们是非线性的,它们收集输入,进行加权,然后根据加权输入给出输出。问题是,如何改变这些权重以使整个事情做得很好?」
Ilya:我不想炸薯条了
某个星期日,Hinton坐在办公室,突然有人在外面哐哐敲门(原话:that’s sort of an urgent knock)。
Hinton去开门,门外的年轻人正是Ilya。
Ilya:这个夏天我在炸薯条,实在是干够了,还不如来你实验室干活。
Hinton:你应该先预约,然后我们谈一下。
Ilya:就现在怎么样?
——Hinton表示,这就是Ilya的性格特点。
Hinton给了Ilya一篇关于反向传播的论文,两人于一周后再次见面。
Ilya:I didn’t understand it.
Hinton:?这不就是链式法则吗,小伙子你怎么回事?
Ilya:不是那个,我不明白你为啥不用个更好的优化器来处理梯度?
——Hinton的眼睛亮了一下,这是他们花了好几年时间在思考的问题。
Hinton表示,Ilya总是有很好的直觉,他从小就对人工智能感兴趣,并且显然很擅长数学。
Hinton还记得,有一次的项目比较复杂,涉及到大量的代码重组,以进行正确的矩阵乘法。
Ilya受够了折磨,于是有一天跑过来找Hinton,
Ilya:我要为Matlab写一个接口,自动做这些转换。
Hinton:不行,Ilya,那需要你一个月的时间。我们必须继续这个项目,不要分散注意力。
Ilya:没关系,我今天早上写完了。
Ilya的直觉
Ilya很早就有一种直觉:只要把神经网络模型做大一点,就会得到更好的效果。Hinton认为这是一种逃避,必须有新的想法或者算法才行。
但事实证明,Ilya是对的。
新的想法确实重要,比如像Transformer这样的新架构。但实际上,当今AI的发展主要源于数据的规模和计算的规模。
或许正是因为Ilya的这种直觉,才有了后来OpenAI的惊人成就。
当时过境迁、沧海桑田,光阴让Ilya变为了成熟的大人,同时也带走了他的头发。
模型真的能思考
2011年,Hinton带领Ilya和另一名研究生James Martins,发表了一篇字符级预测的论文。他们使用维基百科训练模型,尝试预测下一个HTML字符。
模型首次采用了嵌入(embedding)和反向传播,将每个符号转换为嵌入,然后让嵌入相互作用以预测下一个符号的嵌入,并通过反向传播来学习数据的三元组。
当时的人们不相信模型能够理解任何东西,但实验结果令人震惊,就像是模型已经学会了思考。
预测下一个符号,与传统的自动完成功能有很大的不同。传统的自动完成功能会存储一组三元组单词。然后,你会看到不同的单词出现在第三位的频率,这样你就可以进行预测。
但现在,情况已经不同了。要预测下一个符号,你必须理解所说的内容。我认为通过预测下一个符号可以强迫模型进行理解,它的理解方式与我们非常相似。
举个例子,如果你问GPT-4,为什么堆肥堆像原子弹?大多数人都无法回答这个问题,因为他们认为原子弹和堆肥堆是完全不同的东西。
但GPT-4会告诉你,两者能量尺度不同,时间尺度也不同。但相同的是,当堆肥堆变热时,它会更快地产生热量;而当原子弹产生更多的中子时,其产生中子的速度也会随之加快。
——这就引出了链式反应的概念。通过这种理解,所有的信息都被压缩到模型权重中。
在这种情况下,模型将能够对我们从未见过的各种类比进行处理,这就是人类能从模型中获得创造力的地方。
大型语言模型所做的是寻找共同的结构,使用共同的结构对事物进行编码,这样效率更高。
超越训练数据
在与李世石的那场著名比赛中,AlphaGo在第37步做出了所有专家都认为是错误的举动,——但后来被证明是AI绝妙的创造力。
AlphaGo的不同之处在于它使用了强化学习,使它能够超越当前状态。它从模仿学习开始,观察人类如何玩游戏,然后通过自我对弈,逐渐超越了训练数据。
Hinton还举了训练神经网络识别手写数字的例子,他把训练数据的一半答案故意替换成错误的(误差率50%),但是通过反向传播的训练,最终模型的误差率会降到5%或更低。
这就像是聪明的学生最终会超过自己的老师。大型神经网络实际上具有超越训练数据的能力,这是大多数人未曾意识到的。
此外,Hinton认为当今的多模态模型将带来很大的改变。
仅从语言角度来看,模型很难理解一些空间事物。但是,当模型成为多模态时(既能接收视觉信息,又能伸手抓东西,能拿起物体并翻转),它就会更好地理解物体。多模态模型需要更少的语言,学习起来会更容易。
预测下一个视频帧、预测下一个声音,我们的大脑或许就是这样学习的。
英伟达不送GPU
Hinton是最早使用GPU处理神经网络计算的人之一。
2006年,一位研究生建议Hinton使用GPU来计算矩阵乘法。他们最开始使用游戏GPU,发现运算速度提高了30倍。之后Hinton购买了一个配备四个GPU的Tesla系统。
2009年,Hinton在NIPS会议上发表了演讲,告诉在场的一千名机器学习研究人员:「你们都应该去购买英伟达的GPU,这将是未来的趋势,你们需要GPU来进行机器学习。」
然后,Hinton给英伟达发了一封邮件,说我已经告诉一千名机器学习研究人员去购买你们的显卡,你们能否免费给我一个?
——英伟达并没有回复。
很久以后,Hinton把这个故事告诉老黄,老黄赶紧送了一个。
硬件模拟神经网络
在谷歌的最后几年里,Hinton一直在思考如何尝试进行模拟计算。这样,我们就可以使用跟大脑一样的功率(30瓦),来运行大型语言模型,而不是一兆瓦的功率。
每个人的大脑都不相同,所以在这种低功耗的模拟计算中,每个硬件都会有所不同,各个神经元的精确属性也不同。
人终有一死,大脑中的权重在人死后就会丢失,但数字系统是不朽的,权重可以被存储起来,计算机坏了也不影响。
假设有一大批数字系统,它们从相同的权重开始,各自进行微量的学习,然后共享权重,这样它们都能知道其他系统学到了什么。然而,我们人类无法做到这一点,因此在知识共享方面,数字系统远胜于我们。
快速权重
到目前为止,神经网络模型都只有两个时间尺度:接收输入时的快速变化,和调整权重时的缓慢变化。
然而在大脑中,权重的时间尺度有很多。
比如我说了一个词「黄瓜」,五分钟后,你戴上耳机,听到很多噪音和一些模糊的单词,但你能更好地识别「黄瓜」这个词,因为我五分钟前说过这个词。
大脑中的这些知识是如何存储的呢?显然是突触的暂时变化,而不是神经元在重复「黄瓜」这个词——Hinton称之为快速权重。
Hinton的担忧
Hinton认为,科学家应该做一些有助于社会的事情,当你被好奇心驱使时,你会做最好的研究。但是,这些事情会带来很多好处,也可能会造成很多伤害,我们需要关注它们对社会的影响。
比如坏人使用AI做坏事,将人工智能用于杀手机器人,操纵公众舆论或进行大规模监视。这些都是非常令人担忧的事情。
而人工智能领域的发展不太可能放缓,因为是它是国际性的,即使一个国家放缓,其他国家也不会。
这种担忧也让小编想起了与Hinton一脉相承的Ilya。
从多伦多的实验室,到OpenAI的核设施,Ilya一直牢记恩师的教诲:道路千万条,安全第一条。监管不规范,教父两行泪。