用微信掃碼二維碼

分享至好友和朋友圈

【新智元導讀】只用6GB顯存的筆記本gpu，就能生成流暢的高質量視頻！斯坦福研究團隊重磅推出FramePack，大幅改善了視頻生成中的遺忘和漂移難題。

昨天，視頻生成進入了超低顯存時代！

他提出了以漸進式生成視頻的新方法——FramePack，才過去一天對應的開源項目已有2600多star。

新方法采用獨特的壓縮結構和抗漂移采樣方法，有效緩解了遺忘和漂移難題，提升了視頻質量和連貫性。

現在只要一臺RTX 3060 6GB筆記本，就能用單圖生成5秒、30FPS共150幀的視頻。

從古代仕女圖到卡通形象，通通一鍵動起來！

相同的配置，還可以生成單圖生成60s的共1800幀視頻。

在左側上傳圖片，并在下方輸入提示詞，右側就開始顯示生成的視頻及預覽。

由于采用逐段落幀預測模型，視頻會持續延長生成：

每個段落會顯示獨立進度條。

a jellyfish dances in the sea（一只水母在海中起舞）

網友驚呼：這下視頻生成要進入超超超低顯存時代了，邁入大眾GPU了！馬上就去實測！

簡單總結一下，FramePack的特點有：

使用13B模型和6GB顯存的筆記本GPU，能夠以完整的30 FPS速率擴散（生成）數千幀。

在單個8xA100/H100節點上，能夠以64的批大小微調13B視頻模型，適用于個人或實驗室。

RTX 4090生成速度可達2.5秒/幀（未優化）或1.5秒/幀（使用teacache）。

沒有時間步長蒸餾。

技術上是視頻擴散，但使用體驗上更接近圖像擴散。

新方法旨在攻克視頻生成中的遺忘和漂移問題。

FramePack的設計理念十分巧妙，它根據輸入幀的重要性進行壓縮。

FramePack通過定義長度函數來確定每個幀的上下文長度，其中λ>1是壓縮參數，L_f是每幀的基礎上下文長度。

通過這個函數，越不重要的幀，上下文長度被壓縮得越厲害。

經過壓縮處理，總上下文長度會遵循幾何級數變化：

當視頻幀數T趨向于無窮大時，總上下文長度會收斂到固定值：

這意味著，無論輸入視頻多長，FramePack都能將總上下文長度控制在固定上限內，避免因輸入幀過多導致計算量爆炸，有效解決了模型處理大量幀時的計算難題。

考慮到硬件對計算的優化偏好，論文中主要討論λ=2的情況。

在實際應用中，FramePack還有一些細節要處理。比如針對不同壓縮率的輸入投影，使用獨立的神經網絡層參數能讓學習過程更穩定。

當輸入幀長度非常大時，FramePack提供了三種處理尾部幀的方式：

可以直接刪除尾部幀。

也可以讓每個尾部幀增加一個潛在像素來擴展上下文長度。

或者對所有尾部幀進行全局平均池化，然后用最大的內核處理。

在實際測試中發現，這幾種方式對視覺效果的影響相對較小。

另外，由于不同壓縮內核編碼的輸入上下文長度不同，FramePack還需要進行RoPE對齊。

為滿足不同應用場景需求，提升視頻生成質量，FramePack還有多種變體。

一種變體是重復和組合壓縮級別，提高壓縮率。

比如在圖1-(b)中，采用4的冪次方序列，每個級別重復3次，這樣能讓幀寬度和高度的內核大小保持一致，使壓縮更緊湊。

壓縮也可以在時間維度上進行，如圖1-(c)所示，使用2的冪次序列，在同一張量中編碼多個幀，這種方式與DiT架構天然契合。

FramePack還創新了幀重要性的建模方式。

除了基于時間接近度判斷重要性，在圖1(d)中，給最舊的幀分配全長上下文，在需要強調初始信息的應用場景中，能更好地保留關鍵信息。

圖1(e)將起始幀和結束幀視為同等重要，同時對中間幀應用更高的壓縮。

在圖像到視頻生成任務中，這種方式很有效，因為用戶提供的初始幀往往承載關鍵信息，賦予它們更高重要性可以提升最終生成視頻的質量。

漂移一直是視頻生成中的頑疾，FramePack提出的抗漂移采樣方法為這一問題提供了新思路。

研究發現，漂移通常發生在模型僅依賴過去幀進行預測的因果采樣過程中。

如果模型能獲取未來幀的信息，哪怕只有一幀，就能有效避免漂移?；谶@一發現，FramePack提出了雙向上下文的抗漂移采樣方法。

傳統采樣方法，如圖2-(a)是按時間順序迭代預測未來幀，而抗漂移采樣則不同。

改進后的方法，如圖2-(b)，在第一次迭代時，同時生成起始和結束部分，后續迭代再填充中間的間隙。

這樣一來，結束幀在一開始就被確定下來，后續生成的幀都朝著這個目標靠近，有效防止了漂移。

還有一種反向抗漂移采樣方法，如圖2-(c)，這種方法在圖像到視頻生成任務中表現出色。

它將用戶輸入圖像作為高質量的第一幀，然后按反向時間順序生成后續幀，不斷優化生成的幀以接近用戶輸入的第一幀，從而生成高質量的視頻。

為了驗證FramePack的性能，研究人員進行了大量消融實驗。

FramePack基于Wan和HunyuanVideo兩種基礎模型，涵蓋了文本到視頻和圖像到視頻的生成結構。

數據集方面，遵循LTXVideo的數據集收集流程，收集了多種分辨率和質量水平的數據。

為全面評估FramePack的性能，實驗采用了多種評估指標，包括多維度指標、漂移測量指標和人工評估。

多維度指標評估涵蓋清晰度、美學、運動、動態、語義、解剖結構和身份等多個方面。

當視頻發生漂移時，視頻開頭和結尾部分在各種質量指標上會出現明顯差異。

作者提出了起止對比度，其中V是測試視頻，V_start代表前15%的幀，V_end代表最后15%的幀，M可以是運動分數、圖像質量等任意質量指標。

該指標通過計算起始和結束部分質量指標的絕對差值，直觀反映出漂移的嚴重程度，并且由于使用絕對差值，不受視頻幀生成順序的影響。

研究人員通過A/B測試收集用戶偏好，每個消融架構會生成100個結果，A/B測試在不同的消融架構中隨機分配，確保每個消融架構至少有100次評估。

最終，通過ELO-K32分數和相對排名反映用戶對視頻的喜好程度。

在采樣方法對比中，反向抗漂移采樣表現最為突出。

它在7個評估指標中的5個上取得最佳成績，并且在所有漂移指標上都表現優異。這充分證明了反向抗漂移采樣方法在減少誤差累積、提升視頻質量方面的有效性。

從生成幀數的角度來看，人工評估顯示，每段生成9幀的配置在ELO分數上，明顯高于生成1幀或4幀的配置，說明生成9幀能給用戶帶來更好的視覺感知。

普通采樣雖然在動態指標上獲得最高分數，但這很可能是漂移效應導致的，并非真正的質量提升。

研究人員還發現，同一采樣方法下，不同配置選項之間的差異相對較小且具有隨機性。

這意味著采樣方法的選擇對整體性能差異的影響更為關鍵，而具體配置選項的微調對性能的影響相對有限。

與替代架構的比較

為全面評估FramePack的性能，研究人員將其與替代架構做了對比。

這些替代架構包括重復圖像到視頻、錨幀、因果注意力、噪聲歷史和歷史引導等方法，它們分別從不同角度嘗試解決視頻生成中的長視頻生成、計算瓶頸和漂移等問題。

FramePack在多個方面表現出色。

FramePack在3個全局指標上取得最佳結果。漂移指標方面，更是全面領先，證明其解決漂移問題的有效性。

從人工評估的ELO分數來看，FramePack得分最高，表明在主觀感受上，生成的視頻質量更受認可。

FramePack為視頻生成技術帶來新突破。它通過獨特的壓縮結構和抗漂移采樣方法，有效緩解了遺忘和漂移問題，提升了視頻生成的質量和效率。

Lvmin Zhang是斯坦福大學計算機系的博士生，主要研究領域為計算機圖形學和生成模型。

在今年的ICLR投稿中，經過rebuttal，他成功拿下最近幾年的首個滿分論文！

農村老光棍找搭檔 2025-04-17 00:22:22