Runway 帶著新一代視頻生成模型 Gen-4 殺回來(lái)了！
功能強(qiáng)大到只要幾張參考圖和簡(jiǎn)單提示詞，就可以生成電影級(jí)別的大片。
性能上則是主打世界一致性、高動(dòng)態(tài)高保真和可控性，自稱是新的 SOTA 模型。
比如在這段半分鐘的視頻里，女主先后進(jìn)行了開(kāi)車等一系列動(dòng)作，出現(xiàn)了不同的視角，但角色形象始終都保持一致。
并且在物理規(guī)律理解上也表現(xiàn)出色，用 Runway 自己的話說(shuō)是 " 理解物理世界的重要里程碑 "。
不管是固液表面還是柔性物體，以及光學(xué)中的透射反射，Gen-4 都能真實(shí)還原。
當(dāng)然 Runway 的野心不止于此，在他們看來(lái)，Gen-4 專為講故事而設(shè)計(jì)，并指出" 會(huì)講故事 " 才是 AI 的新基準(zhǔn)。
并且還放出了幾個(gè)純 Gen4 制作的微電影，每個(gè)時(shí)長(zhǎng)都超過(guò)了 100 秒。
比如這段《The Lonely Little Flame》，講述了主角渴望尋找朋友并最終得償所愿的故事，整段視頻從頭到尾都是用 Gen-4 完成。
有網(wǎng)友評(píng)論說(shuō)，之前自己并不看好 Runway，但是現(xiàn)在 Gen-4 讓他刮目相看，直接把牌桌掀翻了。
據(jù) Runway 介紹，此次 Gen-4 主要有這樣幾個(gè)亮點(diǎn)：
可生成具有逼真動(dòng)作的高度動(dòng)態(tài)視頻，
僅需單個(gè)參考圖像，就能創(chuàng)造不同場(chǎng)景的視頻，并且主題、對(duì)象和風(fēng)格一致；
具有出色的即時(shí)一致性和一流的世界理解能力，可控性強(qiáng)；
對(duì)物理規(guī)律有更好的理解，能夠生成更符合真實(shí)規(guī)律的視頻；
支持生成式視覺(jué)特效（GVFX）。
Runway 發(fā)布的宣傳片中，演示了用兩張照片生成影像級(jí)視頻的整個(gè)過(guò)程。
創(chuàng)始人兼 CEO Crist ó bal Valenzuela 拍攝了手中的玩具，然后上傳了一張之前拍攝的街景圖片，通過(guò)簡(jiǎn)單的指令就將玩具融入到了街景當(dāng)中。
接著，Crist ó bal 利用得到的照片，生成了人們從玩具旁邊走過(guò)的視頻。
更精彩的在后面，隨著玩具上的紅色小球滾落，畫面變成了雪地、沙漠等各種不同場(chǎng)景。
這就是 Gen-4 此次引入的生成式視覺(jué)特效（GVFX）技術(shù)。
結(jié)合這次 Gen-4 主推的一致性、高保真等特性，可以從頭到尾只用 Gen-4 就能完成故事影片的制作。
包括開(kāi)頭展示的微電影 " 小火苗 " 在內(nèi)，Runway 這波一口氣展示了五段作品。
《The Herd》講述了一個(gè)講述了一個(gè)年輕人在夜間被牛群追趕的故事。
關(guān)鍵在于，其畫面僅通過(guò)簡(jiǎn)單的參考圖和提示詞就能得到，然后通過(guò) Act-One 技術(shù)，這些鏡頭被串聯(lián)成了完整故事。
《NYC is a Zoo》則將紐約變成了一個(gè)大型動(dòng)物園，看上去十分有趣。
Runway 介紹，影片中的每個(gè)場(chǎng)景都是通過(guò) Gen-4 的 Reference 功能，將動(dòng)物的真實(shí)照片與紐約街景照片相結(jié)合，然后用提示詞描述每個(gè)場(chǎng)景的具體動(dòng)作而創(chuàng)建的。
同樣是動(dòng)物題材的還有這段音樂(lè)舞蹈《Scimmia Vede》，不過(guò)跳舞的演員可不是人，而是一只猴子。
從畫風(fēng)上看，動(dòng)漫風(fēng)格也能輕松駕馭，并且比實(shí)景風(fēng)格看上去更加沒(méi)有 AI 感。
下面這段《The Retrieval》，就講述了幾位主角不斷探險(xiǎn)，尋找神秘之花的整個(gè)過(guò)程。
總之，Runway 表示，Gen-4 將成為一種故事創(chuàng)作的全新方式。
目前，Gen-4 的圖生視頻功能已向付費(fèi)用戶和企業(yè)用戶開(kāi)放，制作短片時(shí)用到的 Reference 功能也即將上線。
BTW，創(chuàng)作者們已經(jīng)在期待 Reference 的正式上線了。
參考鏈接：
[ 1 ] https://runwayml.com/research/introducing-runway-gen-4
[ 2 ] https://runwayml.com/gen-4-bts
[ 3 ] https://x.com/runwayml/status/1906718935778545964
一鍵三連「點(diǎn)贊」「轉(zhuǎn)發(fā)」「小心心」
歡迎在評(píng)論區(qū)留下你的想法！
— 完 —
速搶席位！中國(guó) AIGC 產(chǎn)業(yè)峰會(huì)觀眾報(bào)名通道已開(kāi)啟 ♀
首批嘉賓曝光啦 百度、無(wú)問(wèn)芯穹、數(shù)勢(shì)科技、生數(shù)科技、像素綻放等十?dāng)?shù)位 AI 領(lǐng)域創(chuàng)變者將齊聚峰會(huì)，讓更多人用上 AI、用好 AI，與 AI 一同加速成長(zhǎng)～
4 月 16 日，就在北京，一起來(lái)深度求索 AI 怎么用
一鍵星標(biāo)
科技前沿進(jìn)展每日見(jiàn)
