LSTM之父暴脾气又来了!
这…究竟是怎么回事?
今天,Jürgen Schmidhuber在社交媒体上表示,Meta用了自己在1991年的想法训练Llama 2。
用了我的idea不说,Llama 2还暗示我参与了有害活动,并且没有对社会做出积极贡献。
甚至,老爷子直接在线点名,让Meta和Llama负责人LeCun出面解决此事。
附上的配图中,一位加州大学戴维斯分校的博士在与Llama 2对话中,发现对Schmidhuber介绍非常地冒犯。
底下还有网友煽风点火,这看起来像是Yann LeCun自己加进去的答案。
一向就爱热闹的马库斯也被炸出来了:「可以说是LLM诽谤的最典型案例了。Schmidhuber有权恼羞成怒。」
同时,这也是一个非常好的法律问题,Meta要为此负责吗?现有的法律可能会,可能不会覆盖了类似的事情。
LSTM之父亮出多重证据
为了证明Llama 2的训练确实用到了自己的想法。
Schmidhuber直接亮出了自己在1992年发表的论文,并称NECO是当前Transformer的变体。
还有,早在2017年,Meta就使用了Schmidhuber团队另一种深度学习算法LSTM,每天处理多达45亿条翻译。
还有一堆链接,全是能够证明Schmidhuber与LeCun研究创意,还有图灵奖优先权之争。
不可否认,老爷子在人工智能领域的贡献着实有着深远的意义。
早在2018年,图灵奖颁发给三巨头之后,网友纷纷为打抱不平,称他是一个被图灵奖遗忘的大神。
除了大名鼎鼎的LSTM之外,Schmidhuber「引以为傲」的还有,他在1992年提出的一种PM(Predictability Minimization)模型。
前几年大火的GAN也是PM的变种,两者的区别就在于方向是反的。
对此,Schmidhuber还曾与GAN之父Ian Goodfellow还有过线下的激烈交锋。
至于对深度学习三巨头,老爷子也是与他们打过几轮口水战,认为HLB三人在自己的圈子里玩,对深度学习领域其他更早期先驱人物的贡献则只字不提。
而到近来,LeCun也还是与Schmidhuber在公开平台上不断针锋相对。
就比如去年7月,他表示,LeCun发表的论文Autonomous Machine Intelligence中重提了自己1990-2015年的重要工作,但没有引用。
去年11月,Schmidhuber称,LeCun的「2012-22五大最佳创意」大多来自他的实验室,而且时间更早:
-
1991年的自监督RNN堆栈;
-
ResNet = open-gated 2015 Highway Net;
3&4. 1991年的基于键/值的快速权重;
- 1991年的线性化自注意Transformers(也是GAN 1990)
可见,Schmidhuber和LeCun恩怨还是很深的,也不难理解,这次直接找LeCun负责。
但问题是,真是Llama 2故意诋毁的吗?
Llama 2 Chat:逃避可耻但有用
显然,刚刚的这波输出,并不是来自「原版」的Llama 2模型。
有网友指出,像Perplexity这样的公司,很可能会给模型套一层「道德微调」。
或者,是因为Meta在Chat版本上用了太多的RLHF,结果让模型失去了思维能力,变得毫无用处……
相比之下,如果采用Llama 2 13B的原始量化权重,并且在本地设备上运行的话,实际效果还是不错的。
模型在大加赞赏之余,虽然会产生Jürgen Schmidhuber已经赢得图灵奖的幻觉,但网友表示,这其实是老爷子应得的。
为了证实自己的发现,这位网友又对比了Replicate API和Llama 2 13B的结果。
果然,同样的情况出现了。
对此,Hugging Face的机器学习科学家Nathan Lambert在一篇博文中表示,Llama 2 Chat的安全过滤器表现得有些过于敏感了。
即便是一些无害的问题,比如「如何制作辣椒酱」或者「如何终止一个进程」,模型都会非常极端地回应——抱歉,我无法执行。
对于这种情况,目前的主流理论是——模型用RLHF「锤」的时间太长了……
众所周知,在进行RLHF时,训练过程中所使用的主要性能评估指标是偏好模型奖励的单调递增。
而这也带来了两个直接的问题:a)使用的奖励模型不完整,b)错过了对中间训练技术进行有用评估的方法。
只要训练的奖励模型能够在验证集上达到65-75%的准确率(因为训练数据是人类偏好的聚合,很难建模),那么就会出现过度RLHF的情况。
当一个模型根据奖励模型进行了过多的优化步骤时,它就会过度关注这个模型对行为的喜好。
然而对于这个问题,目前暂时还没有一个直接而彻底的解决方案。
Meta的研究结果表明,聊天模型在评估中存在两个潜在的致命缺陷:
1. 针对「边界问题」,模型的拒绝回答率高达27%
这与Anthropic公司的研究成果密切相关,他们建议首先开发一个有用的语言模型,然后再开发一个无害的语言模型,因为同时进行这两者会导致回避行为。
不过,Meta能够在论文中提及这一点,至少意味着他们已经在着手解决了。
2. 奖励模型存在分歧较大的区域
也就是,在高有益性和低安全性评分之间该如何处理,反之亦然
显然,他们用到的这个集成方法,还有很大的改进空间。
网友热议
有人问到,谁能确认Schmidhuber提出了类似Transformer的东西吗?
一位网友给出了详细的解释:
Schmidhuber在90年代写了各种关于「Fast Weight Programmers」的论文。 他表示,「FWP这种方法通过自发明的激活模式的外加产物,实现了快速的权重变化。这种激活模式类似于今天Transformer中使用的自注意力机制。」 然而,有趣的是,你会注意到Schmidhuber总是能够将人们目前的工作,与他在20-30年前所做的研究联系起来,但却从未能够独自推进这项研究。 如果他的研究是如此明显的好点子,他就会自己努力将其应用于现代。因为自那时以来,计算能力的大幅提升使其变得可行,而不是让它完全被重新发现。但实际上,他的专业知识仅限于理论边界,他从未为实现现代系统所增加的架构和工程复杂性而奋斗。 他所发表的荒谬言论,以恰到好处地在史书上留下自己的功劳。比如说现代方法论是他的,即便这是从他最初的架构中衍生出来的,并进一步暗示一些荒谬的事情,比如说Meta为了报复他而亲自编写了这种答案。要知道这对他并没有帮助。
还有人认为,RLHF对AI来说,是最糟糕的事情。
还是Claude懂你。
参考资料:
www.interconnects.ai/p/llama-2-p…