編輯：LRS

【新智元導讀】模型只管變大，剩下的交給天意？

今年5月，DeepMind釋出了一個多模態人工智慧系統Gato，僅靠一套模型引數即可同時執行600多種不同的任務，一時引起行業內對通用人工智慧（AGI）的熱議。

DeepMind的研究部主管Nando de Freitas當時還發了一個推特表示，只要不斷提升規模（scale）就能把AI給通關了！

我們要做的只是讓模型更大、更安全、計算更有效率、取樣更快、更智慧的儲存、更多模態、在資料上創新、線上/離線等。

只要解決規模上的問題就能抵達AGI，業界需要多關注這些問題！

最近，著名AI學者、Robust。AI的創始人兼 CEO 、紐約大學的名譽教授Gary Marcus又發表了一篇部落格，認為這種說法「為時太早了」，並且已經開始出現危機了！

Marcus對AI行業發展持續關注，但對AI的炒作持批判態度，曾表達過「深度學習撞牆」、「GPT-3完全沒意義」等反對意見。

大模型玩不下去怎麼辦？

Nando認為，人工智慧不需要進行正規化轉變，只需要更多的資料、更高的效率和更大的伺服器。

Marcus把這個假設轉述為： 如果沒有根本性的新創新，AGI可能會從更大規模的模型中產生。這個假設也可以稱之為「規模超越一切」（scaling- über-alles）。

他的假設，現在通常被稱為

規模最大化（scaling maximalism）

，仍然非常流行，很大程度上是因為越來越大的模型確實性能很強，比如影象生成等任務都需要藉助大模型。

但也僅僅是到目前為止。

問題在於，數月乃至數年來不斷提高的一些技術，實際上遠遠不能達到我們所需要的那種規模。

龐氏騙局越來越多，規模帶來的效能優勢只是經驗觀察得出的結果，無法確保正確。

Marcus分享了三個最近看到的前兆，可能預示著規模最大化假說可能將要終結。

1。 世界上可能沒有足夠的資料量來支援規模最大化。

這點很多人已經開始擔心了。

來自紐約大學和蘇黎世聯邦理工大學的研究人員William Merrill、Alex Warstadt和Tal Linzen最近提出了一個證明，稱「目前的神經語言模型不太適合在沒有大量資料的情況下提取自然語言的語義」。

論文連結：https：//arxiv。org/pdf/2209。12407。pdf

儘管這個證明中包含了太多的前置假設，以至於無法被當作一個反駁證據，但是如果這個假設接近正確的話，那麼在規模上可能很快就會出現真正的麻煩。

2。 世界上可能沒有足夠的可用計算資源支撐規模最大化。

Miguel Solano最近給Marcus寄來了一份合作撰寫的手稿 ，作者認為，要想達到當前的超級基準，例如BIG-bench，將會需要消耗2022年全美國電力消耗的四分之一還多。

倉庫連結：

https：//github。com/google/BIG-bench

BIG-bench是一個眾包的基準資料集，旨在探索大型語言模型並推斷其未來的能力，其中包含200多個任務。

3。 一些重要的任務可能根本無法在規模上擴充套件。

最明顯的例子是最近由Ruis， Khan， Biderman， Hooker， Rocktschl和Grefenstette共同完成的一項語言學任務，他們研究了語言的

語用含義

。

比如對於問題「你留下指紋了嗎？」，收到回答可能是「我戴了手套」，其語義是「不」。

正如Marcus長期以來所主張的那樣，在沒有認知模型和常識的情況下讓模型意識到這一點真的很困難。

規模在這類任務中基本沒什麼作用，即使是最好的模型也只有80。6%的準確率，對於大多數模型來說，規模的效果最多隻能忽略不計。

並且，你可以很容易地想象出該任務的更復雜版本，模型的效能還會進一步降低。

更讓Marcus深受打擊的是，即使是像這樣單一的重要任務，約80%的效能也可能意味著規模的遊戲無法繼續玩下去。

如果模型只是學會了語法和語義，但是在語用或常識推理方面失敗了，那麼你可能根本就無法獲得可信任的AGI

「摩爾定律」並沒有像最初期望的那樣帶領我們走得那麼遠，那麼快，因為它並不是宇宙的因果定律，永遠成立。

規模最大化只是一個有趣的假設，它不會讓我們抵達通用人工智慧，比如上述三個問題的解決將會迫使我們進行正規化轉換。

網友Frank van der Velde表示，規模最大化的追隨者往往傾向於使用「大」和「更多」這樣模糊的術語。

與人類在學習語言中使用的訓練

資料

相比，深度學習模型用到的訓練資料太大了。

但與人類語言真正語義集合相比，這些所謂的海量資料仍然微不足道，大約需要100億人每秒生成一句話，持續300年才有可能得到這麼大規模的訓練集。

網友Rebel Science更是直言，規模最大化不是一個有趣的假設，而是一個愚蠢的假設，不僅會輸在AI這條賽道上，而且還會死的很難看。

規模最大化過於極端

哥倫比亞大學哲學系講師、牛津大學博士Raphal Millière在「規模最大化」問題爭鬥最激烈時也發表了一些自己的看法。

規模最大化曾經被看作是深度學習批評家的抓手（比如Gary Marcus），隨著行業內人士如Nando de Freitas和Alex Dimakis加入爭論，兩方吵得不可開交。

從業者的反應大多喜憂參半，但並非過於消極，同時預測平臺Metaculus上對AGI實現的預測日期已經提前到了歷史最低點（2028年5月） ，這也可能增大了規模最大化的可信度。

人們對「規模」逐漸信任可能是由於新模型的釋出，諸如PaLM， DALL-E 2， Flamingo和Gato的成功為規模最大化添了一把火。

Sutton 的「Bitter Lesson」在關於規模最大化的討論中丟擲了很多觀點，不過並非完全等價，他認為將人類知識構建到人工智慧模型（例如，特徵工程）中的效率低於利用資料和計算來學習的效率。

文章連結：

http：//www。incompleteideas。net/IncIdeas/BitterLesson。html

雖然並非沒有爭議，但Sutton的觀點似乎明顯沒有規模最大化那麼激進。

它確實強調了規模的重要性，但是並沒有把人工智慧研究中的每一個問題簡化為僅僅是規模的挑戰。

事實上，很難確定規模最大化的具體含義，從字面上理解，「Scaling is all you need」表明我們不需要任何演算法創新或者架構變化就能實現 AGI，可以擴充套件現有的模型，並強制輸入更多的資料。

這種字面上的解釋看起來很荒謬： 即使是像 PalM、 DALL-E 2、 Flamingo或者Gato這樣的模型也仍然需要對以前的方法進行架構上的改變。

如果有人真的認為我們可以將現成的自迴歸Transformer擴充套件到 AGI，那真的會讓人感到驚訝。

目前還不清楚認同規模最大化的人覺得AGI需要多大程度的演算法創新，這也使得從這一觀點很難產生可證偽的預測。

擴大規模可能是構建任何應該被貼上「通用人工智慧」標籤系統的必要條件，但是我們不應該把必要誤認為是充分條件。

參考資料：

https：//garymarcus。substack。com/p/what-game-over-for-the-latest-paradigm