Is Scaling is All you Need？

在 Ilya 探讨完「预查考行将斥逐」之后，对于 Scaling Law 的征询再次激励热议。

这届 NeurIPS 将被铭刻成预查考斥逐的一届会议

在最新研讨会上，OpenAI 大神，o1 中枢成员 Noam Brown 暗意，o1 代表的是一种全新的，以推理策画为代表的 Scaling。

网友们暗意：好好好，Scaling Law 还莫得死！Scaling Law 还在不时。

演讲实录：Is Scaling is All you Need？

Noam Brown，OpenAI 大神一枚，昨年 7 月从 Meta 下野，曾开发首个在策略游戏中达到东说念主类水平的 AI，此前在游戏 AI 范围有关辩论后果曾登上 Science 封面。

如今在 OpenAI 勤恳于多步推理、自我博弈以及多智能体 AI 有关的辩论。

此前在 o1 发布的直播技艺露过面。

据网友 @swyx 共享，Noam Brown 领先谈到 Scaling Law 的以前演进。

AI 从 2019 年到当今，GPT-2 演进到 GPT-4，这难以置信的确立齐来自于数据和算力限制的扩大。

但大讲话模子仍然无法惩办像井字棋这么的粗浅问题，

那么随之而来的一个问题是，Is Scaling is All you Need？咱们确切还需要再败坏更高的老蓝本查考更好的 AI 吗？

这当中被低估的其实是推理的老本，它在以前的扩张（Scaling）要少得多。o1 带来了 Scaling 的新的维度。

随后，他记忆了以前模子展现出来的访佛礼貌。

比如在 2012 年 -2015 年间扑克模子的扩张。模子限制每年扩张 5 倍，但见效不大。但依照「东说念主类需要更长技艺想考更难问题」这一见地，增多了模子 20 秒的搜索技艺，效果约莫特别于将模子限制扩大了 100000 倍。

还有在棋牌中扩张推理的历史，backgammon- 海外象棋 - 围棋。AlphaGo Zero 在原始 NN 基础上竣事了从 3000 到 5200 Elo 增长，齐是因为 test-time search（推理技艺搜索）。

此外，他还援用了 Andy L.Jones 对于 Scaling Laws of games 的图表——不错用 10 倍的预查考策画量同样 15 倍的测试技艺策画量。

若是游戏戒指扩张到 LLMs，是不是也会是如斯？

那么对于 o1 接下来，会有更高的推理策画智商。在以前 5 年里，LLM 认识即是聊天机器东说念主。那么他们不错作念得更好"

终末他还打了个小告白，咫尺他的多智能体团队还在招东说念主 ing。

网友批驳

若是再齐集昨天 Ilya 谈到「预查考时期行将斥逐」。那么对于市集来说，这一波可不是利好英伟达了（Doge）。

不外也有从业者站出来反对他的看法：推理技艺策画（Inference Time Computation）并不崭新，蓝本还想把它去掉，但出于需要又让它回归了。

他还立异说，内部对于诸多游戏技艺门径是失误的，许多游戏（包括海外象棋和围棋）一开动齐只专注于推理技艺策画。但其后巨匠齐倾向于离线学习策略，这么省去了多数的在线策画技艺。

因此，减少面向用户的推理技艺策画是一个三想尔后行的接管，以致导致该范围开动蜕变对策画复杂性计划的面孔。

这一趋势在 LLMs 中也得回了延续——扫数的要点齐放在预查考上，因此推理技艺的策画量不错忽略不计。这么对末端用户来说老本极低，以致不错在腹地的边际开荒上完成。

Ilya 在谈到异日超等智能的畅想时，也说起了面前推理的不可展望性：

推理越多，系统变得越不可展望，这少许在一些复杂任务中发扬得尤为卓绝。

他还提到：

咫尺的 AI 系统还不行着实剖释和推理，天然它们能模拟东说念主类的直观，但异日的 AI 将会在推理和方案方面展现出愈加不可展望的智商。

不外大模子到底会朝着哪些智商上扩张，这个还得看这些科学家们握续探索。

One More Thing

蓝本啊，从现场 repo 来看，这蓝本是个对于数学 AI 的研讨会，硬生生地被他弄成了征询大模子推理 Scaling Law。

现场亦然东说念主许多，传说门口齐还有 20 多个东说念主在列队恭候。天然也有部分原因是房间太小了。

参考链接：

[ 1 ] https://x.com/swyx/status/1867990396762243324

[ 2 ] https://x.com/e__honig/status/1868002417045840243

[ 3 ] https://x.com/drapersgulld/status/1868023022390485052

—  完  —

点这里� � 关怀我，铭记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日相遇 ~