Transformer 开山论文惊天「翻车」，图与代码不一致，神秘 Bug 看傻了
图与代码不一致的论文，很「常见」，不过提出了 Transformer 的开山鼻祖论文，竟然也出现了同样的错误？
今天，AI 圈被一个惊天「翻车」刷屏了。
谷歌大脑的 NLP 奠基之作、提出 Transformer 架构的开山鼻祖级论文 《Attention Is All Your Need》 中的图，被网友扒出与代码并不一致。
自 2017 年问世以来，Transformer 已经成为 AI 领域的基石王者。就连大红大紫的 ChatGPT 真正的幕后大佬也是它。
2019 年，谷歌还专门为它申请了专利。
归宗溯源，现在各类层出不穷的 GPT（Generative Pre-trained Transformer），都起源于这篇 17 年的论文。
据 Google Scholar，截止目前，这篇奠基之作已有 7 万多次的引用。
所以，ChatGPT 的奠基石都不稳了？
作为「开山鼻祖」的论文，结构图竟是错的？
Lightning AI 创始人、机器学习研究者 Sebastian Raschka 发现，这篇论文中 Transformer 的图是错误的。
图中被圈出的地方，LayerNorms 是在注意力和全连接层之后。在残差块之间放置层归一化，会导致输出层附近参数的预期梯度很大。
而且，这也与代码不一致。
不过有网友指出，Noam shazeer 在几周后对代码进行了纠正。
随后，Sebastian 称，在论文 Layer Normalization in the Transformer Architecture 中，Pre-LN 表现得更好，可以解决梯度问题。
这是很多或者大多数架构在实践中所采用的，但它可能导致表征崩溃。
如果层归一化在注意力和全连接层之前被放置在残差连接之中，就会实现更好的梯度。
Sebastian 提出，虽然关于使用 Post-LN 或 Pre-LN 的讨论仍在进行中，但也有一篇新论文提议把二者结合起来。
在这种双残差 Tranformer 中，表征崩溃和梯度消失的问题都得到了解决。
网友热议
针对论文中的疑点，有网友指出：中间不是已经有了 PreLN 和 PostLN 了吗？
Sebastian 回答说，自己也觉得有点奇怪。或许 2nd LN 指的是最后一个输出层，而不是每个 transformer 块，但他对此也不确定。
有网友表示：「我们经常遇到与代码或结果不匹配的论文。大多数就是出于错误，但有时也会让人很奇怪。而这篇论文已经流传甚久了，为什么这种问题此前从没被人提出过，这真的很奇怪。」
Sebastian 表示，公平地讲，最原始的代码是和图片一致的，但他们在 2017 年修改了代码版本，却没有更新图片。所以，这很令人困惑。
有网友表示，已经有论文在 NormFormer 中展示了一个不太复杂的架构，而他的团队最近也证实了他们的结果。而 ResiDual 论文没有在任何地方提到 NormFormer，这让人很惊讶。
同时，评论区不断出现网友证实：Transformers 中使用的 LN，与 CNN 中使用的方式并不同。
所以，论文真的存在漏洞，还是乌龙事件？
让我们静观后续。
参考资料：
-
https://twitter.com/rasbt/status/1655575611979489282
本文来自微信公众号：新智元 （ID：AI_era）
微信扫一扫
相关推荐
-
苹果iPhone 15 Pro/Max 独占新功能+1：Thread网络技术 – 通信终端
Thread 是一个为低功耗物联网（IEEE 802.15.4-2006 WPAN）设备设计的基于 IPv6 的网络协议，而苹果刚刚发布的 iPhone 15 Pro 和 iPho…
-
百度官宣：类 ChatGPT 应用“文心一言”将于 3 月和大家正式见面
2 月 13 日消息，百度宣布将于 3 月正式推出旗下类 ChatGPT 应用“文心一言”，内测阶段似乎比想象中要快。 之前还有消息称，“文心一言”上线首站将直接接入百度搜索。据介…
-
谷歌日本整活：打造 QWERTY 键盘帽子，可以戴着打字
10 月 7 日消息，谷歌日本推出了一款创意十足的产品：Gboard 帽子。这是一顶不仅可以戴在头上，还可以用来在手机上打字的帽子。其灵感来源于物理键盘上的键盘帽，也就是印有字母的…
-
佳能推出晶圆测量机新品 MS-001：比光刻机精度更高，可提高生产效率
2 月 21 日消息，在逻辑、存储器、CMOS 传感器等尖端半导体领域，制造工艺日趋复杂，半导体元器件制造厂商为了制造出高精度的半导体元器件，需要提高套刻的精度，因而曝光前要测量的…
-
深入理解计算机系统 ——CAEer 视角
说在前面 一、写作目的 依托于“计算电磁学”的发展，电磁 CAE 技术已经深刻的改变了硬件设计流程，但是仅仅依赖于 CAE 商用软件的仿真计算以及设计师的手动调参或者相对低层次的自…
-
贾跃亭：法拉第未来经历了很多磨难，至少可以提供很多失败教训
1 月 8 日消息，法拉第未来创始人、首席产品与用户生态官贾跃亭今天在个人微博发布了“对话中国供应链考察团”视频，谈到自己创立法拉第未来的感受，以及供应链为何“一直支持”自家公司等…
