美團邁出通向“世界模型”的第一步,并計劃用它更好地連接“原子世界”與“比特世界”。

10月27日,美團LongCat團隊發布并開源LongCat-Video視頻生成模型,以統一模型在文生、圖生視頻基礎任務上達到開源SOTA(最先進水平),并依托原生視頻續寫任務預訓練,實現分鐘級長視頻連貫生成,保障跨幀時序一致性與物理運動合理性,在長視頻生成領域具備顯著優勢。
近年來,“世界模型”(World Model)因讓人工智能真正理解、預測甚至重構真實世界,被業界視作通往下一代智能的核心引擎。作為能夠建模物理規律、時空演化與場景邏輯的智能系統,“世界模型”賦予人工智能“看見”世界運行本質的能力。而視頻生成模型有望成為構建世界模型的關鍵路徑——通過視頻生成任務壓縮幾何、語義、物理等多種形式的知識,人工智能得以在數字空間中模擬、推演乃至預演真實世界的運行。
正因如此,美團LongCat團隊認為,此次發布的視頻生成模型,是為探索“世界模型”邁出的第一步。未來,憑借精準重構真實世界運行狀態的能力,LongCat模型也會融入公司近年來持續投入的自動駕駛、具身智能等深度交互業務場景中,成為公司更好連接“比特世界”和“原子世界”的技術基礎。

具體來看,此次開源模型的技術報告顯示,作為基于Diffusion Transformer(DiT)架構的多功能統一視頻生成基座,LongCat-Video創新通過 “條件幀數量” 實現任務區分,原生支持三大核心任務:文生視頻無需條件幀、圖生視頻輸入 1 幀參考圖、視頻續寫依托多幀前序內容,且無需額外模型適配,形成“文生/圖生/視頻續寫”完整任務閉環。
此外,依托視頻續寫任務預訓練,新模型可穩定輸出5分鐘級別的長視頻,且無質量損失,達到行業頂尖水平。同時,從根源規避色彩漂移、畫質降解、動作斷裂等行業痛點,保障跨幀時序一致性與物理運動合理性,適配數字人、具身智能、世界模型等需要長時序動態模擬的場景需求。模型還結合塊稀疏注意力(BSA)與條件 token 緩存機制,大幅降低長視頻推理冗余——即便處理 93 幀及以上長序列,仍能兼顧效率與生成質量穩定,打破長視頻生成“時長與質量不可兼得”的瓶頸。
針對高分辨率、高幀率視頻生成的計算瓶頸,LongCat-Video通過“二階段粗到精生成(C2F)+ 塊稀疏注意力(BSA)+ 模型蒸餾”三重優化,視頻推理速度提升至10.1倍,實現效率與質量的最優平衡。


技術報告還稱,LongCat-Video的模型評估圍繞內部基準測試和公開基準測試展開,覆蓋 Text-to-Video(文本生成視頻)、Image-to-Video(圖像生成視頻)兩大核心任務,從多維度(文本對齊、圖像對齊、視覺質量、運動質量、整體質量)驗證模型性能:136億參數的視頻生成基座模型,在文生視頻、圖生視頻兩大核心任務中,綜合性能均達到當前開源領域SOTA級別;通過文本 - 視頻對齊、視覺質量、運動質量、整體質量四大維度評估,其性能在文本對齊度、運動連貫性等關鍵指標上展現顯著優勢;在VBench等公開基準測試中,LongCat-Video在參評模型中整體表現優異。
京公網安備 11010802028547號