Sora到底是不是物理引擎甚至世界模型?圖靈獎得主YannLeCun、Keras之父FrancoisChollet等人正在深入探討。

最近幾天，OpenAI發布的視頻生成模型Sora成了全世界關注的焦點。

和以往只能生成幾秒鐘視頻的模型不同，Sora把生成視頻的長度一下子拉長到60秒。而且，它不僅能了解用戶在Prompt中提出的要求，還能get到人、物在物理世界中的存在方式。

以經典的「海盜船在咖啡杯中纏斗」為例。為了讓生成效果看起來逼真，Sora需要克服以下幾個物理難點：

規模和比例的適應：將海盜船縮小到能夠在咖啡杯中纏斗的尺寸，同時保持它們的細節和結構，是一個挑戰。AI需要理解和調整這些對象在現實生活中的相對尺寸，使得場景在視覺上顯得合理;

流體動力學：咖啡杯中的液體會對海盜船的運動產生影響。AI模型需要模擬液體動力學的效果，包括波浪、濺水和船只移動時液體的流動，這在計算上是復雜的;

光線和陰影的處理：為了使場景看起來真實，AI需要精確地模擬光線如何照射在這個小型場景中，包括咖啡的反光、船只的陰影，以及可能的透光效果;

動畫和運動的真實性：海盜船的運動需要符合真實世界的物理規律，即使它們被縮小到咖啡杯中。這意味著AI需要考慮到重力、浮力、碰撞以及船體結構在動態環境中的行為。

……

雖然生成效果還有些瑕疵，但我們能明顯感覺到，Sora似乎是懂一些「物理」的。英偉達高級研究科學家JimFan甚至斷言，「Sora是一個數據驅動的物理引擎」，「是一個可學習的模擬器，或『世界模型』」。

部分研究者同意這樣的觀點，但也有不少人反對。

YannLeCun：生成視頻的過程與基于世界模型的因果預測完全不同

圖靈獎得主YannLeCun率先亮明觀點。在他看來，僅僅根據prompt生成逼真視頻并不能代表一個模型理解了物理世界，生成視頻的過程與基于世界模型的因果預測完全不同。

他接著講到，模型生成逼真視頻的空間非常大，視頻生成系統只需要產生一個合理的示例就算成功。不過對于一個真實視頻而言，其合理的后續延續空間卻非常小，生成這些延續的代表性片段，特別是在特定行動條件下，任務難度更大。此外生成視頻的后續內容不僅成本高昂，實際上也毫無意義。

因此，YannLeCun認為，更理想的做法是生成視頻后續內容的抽象表達，并消除與我們可能所采取動作無關的場景中的細節。

當然，他借此又PR了一波JEPA(JointEmbeddingPredictiveArchitecture，聯合嵌入預測架構)，認為上述做法正是它的核心思想。JEPA不是生成式的，而是在表示空間中進行預測。與重建像素的生成式架構(如變分自編碼器)、掩碼自編碼器、去噪自編碼器相比，聯合嵌入架構(如Meta前幾天推出的AI視頻模型V-JEPA)可以產生更優秀的視覺輸入表達。

FrançoisChollet：只讓AI看視頻學不成世界模型

Keras之父FrançoisChollet則闡述了更細致的觀點。他認為，像Sora這樣的視頻生成模型確實嵌入了「物理模型」，但問題是：這個物理模型是否準確?它能否泛化到新的情況，即那些不僅僅是訓練數據插值的情形?

Chollet強調，這些問題至關重要，因為它們決定了生成圖像的應用范圍——是僅限于媒體生產，還是可以用作現實世界的可靠模擬。

Chollet通過海盜船在咖啡杯中纏斗的例子，討論了模型能否準確反映水的行為等物理現象，或者僅僅是創造了一種幻想拼貼。這里，他指出模型目前更傾向于后者，即依賴于數據插值和潛空間拼貼來生成圖像，而不是真實的物理模擬。有人將這種行為類比為人類做夢，認為Sora其實只是達到了人類做夢的水平，但是邏輯能力依然不行。

Sora生成的人類考古視頻，椅子在畫面中憑空出現，而且不受重力影響漂浮在空中。

Chollet指出，通過機器學習模型擬合大量數據點后形成的高維曲線(大曲線)在預測物理世界方面是存在局限的。在特定條件下，大數據驅動的模型能夠有效捕捉和模擬現實世界的某些復雜動態，比如預測天氣、模擬風洞實驗等。但這種方法在理解和泛化到新情況時存在局限。模型的預測能力依賴于其訓練數據的范圍和質量，對于那些超出訓練數據分布的新情況，模型可能無法準確預測。

所以，Chollet認為，不能簡單地通過擬合大量數據(如游戲引擎渲染的圖像或視頻)來期望得到一個能夠泛化到現實世界所有可能情況的模型。這是因為現實世界的復雜性和多樣性遠超過任何模型能夠通過有限數據學習到的。

田淵棟：學習物理需要主動學習或者策略強化學習

針對JimFan的觀點，一些研究者提出了更激進的反駁，認為Sora并不是學到了物理，只是看起來像是學到了罷了，就像幾年前的煙霧模擬一樣。也有人覺得，Sora不過是對2D像素的操縱。

當然，JimFan對「Sora沒有在學習物理，而只是操縱2D像素」這一說法進行了一系列反駁。他認為，這種觀點忽略了模型在處理復雜數據時所展現出的深層次能力。就像批評GPT-4不是學習編碼，只是隨機挑選字符串一樣，這種批評沒有認識到Transformer模型在處理整數序列(代表文本的tokenID)時所表現出的復雜理解和生成能力。

對此，谷歌研究科學家KevinPMurphy表示，他不確定最大化像素的可能性是否足以促使模型可靠地學到精確的物理，而不是看似合理的動態視覺紋理呢?是否需要MDL(Minimumdescriptionlength，最小描述長度)呢?

與此同時，知名AI學者、MetaAI研究科學家田淵棟也認為，關于Sora是否有潛力學到精確的物理(當然現在還沒有)，其背后的關鍵問題是：為什么像「預測下一個token」或「重建」這樣簡單的思路會產生如此豐富的表示?

他表示，損失函數如何被激發的并不重要，損失函數的設計動機(無論多么哲學化或復雜)并不直接決定模型能否學習到更好的表示。事實上，復雜的損失函數可能與看起來很簡單的損失函數實際上產生了類似的效果。

最后他稱，為了更好地理解事物，我們確實需要揭開Transformers的黑匣子，檢查給定反向傳播的訓練動態，以及如何學習隱藏的特征結構，并探索如何進一步改進學習過程。

田淵棟還表示，如果想要學習精確的物理，他敢打賭需要主動學習或者策略強化學習(無論如何稱呼它)來探索物理的精細結構(例如物體之間的相互作用、硬接觸)。

其他觀點：Sora被認為是「數據驅動的物理引擎」太荒謬

除了眾多AI圈大佬之外，也有一些專業性的觀點開始反駁Sora懂物理引擎這一說法。

比如下面這位推特博主，他認為OpenAI是數據驅動的物理引擎這一觀點是荒謬愚蠢的，就好像收集了行星運動的數據并將它們喂給一個預測行星位置的模型，然后就得出該模型內部實現了廣義相對論的結論。

他稱，愛因斯坦花了很多年時間才推導出了重力理論的方程。如果有人認為隨機梯度下降(SGD)+反向傳播僅憑輸入輸出對就能理解一切，并在模型訓練中解決問題，那這個人對于機器學習的理解是有問題的，對機器學習的工作方式了解也不夠。

愛因斯坦在理論推導中對現實做出了很多假設，比如光速恒定、時空是靈活的結構，然后推導出了微分方程，其解揭示了黑洞、引力波等重大發現。可以說，愛因斯坦利用因果推理將不同的概念連接了起來。

但是，SGD+反向傳播并不是這樣，它們只是將信息壓縮到模型權重中，并不進行推理，只是更新并轉向實現具有最低誤差的參數配置。

他認為，機器學習(ML)中的統計學習過程可能會顯然低誤差「盆地」，即無法探索不同的概念，因為一旦陷入這些低誤差「盆地」或者局部最小值就無法重新開始。

因此，SGD+反向傳播發現了看似有效但卻很容易崩潰的、脆弱的解決方案捷徑。這就是為什么深度學習系統不可靠并且實際訓練起來很難，你必須在現實中不斷更新和訓練它們，這就很麻煩。

梯度下降的工作原理就像一只蒼蠅尋找氣味源一樣，即蒼蠅跟隨空氣中的化學濃度向下移動，從而引導它導向氣味源。但如果僅依賴這種方式，則很容易迷路或陷入困境。

在機器學習中，模型的可調節參數就像蒼蠅，訓練數據就像氣味源，目標函數測量的誤差就像氣味。而調整模型權重的目的是向著氣味源(這里是低誤差，相當于更濃的氣味)移動。

最后，他得出結論，如果認為機器學習模型僅僅通過訓練行星運動的視頻就能在內部學到廣義相對論，那就更荒謬了。這是對機器學習原理的嚴重誤解。

此外，有網友指出Sora視頻示例中充滿了物理錯誤，比如一群小狗在雪中玩鬧的場景就很糟糕，大塊雪的運動就完全違反了重力(是否真如此，有待判斷)。

Sora到底懂不懂物理?將來會不會懂?「預測下一個token」是不是通往AGI的一個方向?我們期待各路研究者進行進一步驗證。