作者：俞陶然

　　近期，OpenAI公司發(fā)布的文生視頻大模型Sora引發(fā)全球關(guān)注。只要輸入一句或寥寥幾句描述畫面情節(jié)的提示詞，它就能生成一段時(shí)長(zhǎng)60秒的視頻。這些視頻的質(zhì)量和準(zhǔn)確性達(dá)到了令人驚艷的程度。

　　Sora的技術(shù)原理是什么？其應(yīng)用價(jià)值有多大？記者采訪了上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系教授趙海。

　　趙海教授介紹，Sora屬于多模態(tài)混合模型，由大語(yǔ)言模型和文圖生成器拼接而成。純文圖生成模型對(duì)提示詞的理解能力很弱。比如，用戶輸入“世界和平”，它往往無(wú)法生成準(zhǔn)確的圖片。如果把文圖生成器與大語(yǔ)言模型拼接在一起，后者就能把“世界和平”轉(zhuǎn)化為和平鴿、橄欖枝等文圖生成器“看得懂”的提示詞，從而生成切題的作品。

　　文圖生成器經(jīng)改造后，也能生成視頻。因此，從文圖生成器過(guò)渡到文生視頻大模型，不需要很大的技術(shù)突破，研發(fā)團(tuán)隊(duì)主要依靠的是大算力、大模型、大樣本訓(xùn)練數(shù)據(jù)等“先天條件”。“這些條件都是OpenAI所具備的，所以Sora的問(wèn)世不能算技術(shù)革命，而是工程實(shí)踐的成功。”趙海說(shuō)。

　　Sora展示的一批文生視頻案例令人驚艷。比如，輸入這樣一段提示詞：“一位時(shí)尚女性走在充滿霓虹燈和城市標(biāo)牌的東京街道上。她穿著黑色皮夾克、紅色長(zhǎng)裙和黑色靴子，拎著黑色錢包。她戴著太陽(yáng)鏡，涂著紅色口紅。她走路自信又隨意。街道潮濕且反光，在彩色燈光的照射下形成鏡面效果。許多行人走來(lái)走去。”Sora根據(jù)這段話生成的60秒視頻效果頗佳，頭發(fā)、服裝等細(xì)節(jié)都沒(méi)問(wèn)題，并實(shí)現(xiàn)了連貫的場(chǎng)景轉(zhuǎn)換，達(dá)到以假亂真的水平。

　　Sora與同類產(chǎn)品相比，具有三大優(yōu)勢(shì)——60秒時(shí)長(zhǎng)、單視頻包含多角度鏡頭、遵循部分物理規(guī)律。

　　Sora問(wèn)世前，同類產(chǎn)品只能根據(jù)提示詞生成5秒以內(nèi)的短視頻。Sora的作品不僅長(zhǎng)達(dá)1分鐘，而且有多角度鏡頭，這些鏡頭里的人和物還能保持前后一致性，不會(huì)因角度變換而出現(xiàn)問(wèn)題。在對(duì)物理規(guī)律的掌握方面，Sora也有不俗表現(xiàn)，比如在其生成的一段SUV（運(yùn)動(dòng)型多用途汽車）行駛視頻中，汽車影子與車身始終契合。

　　不過(guò)，Sora的作品也存在不少瑕疵。如輸入“五只灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”，視頻中狼的數(shù)量會(huì)莫名改變，幾只狼憑空出現(xiàn)或消失。趙海分析：“目前的文圖生成器對(duì)數(shù)字不夠敏感，比如生成的一些手會(huì)有6根手指，今后要加強(qiáng)這方面的訓(xùn)練。”

　　在他看來(lái)，視頻大模型將改變影視行業(yè)的游戲規(guī)則。以技術(shù)含量最高的科幻電影為例，目前拍攝一部科幻大片往往需要數(shù)年時(shí)間，視頻大模型用于這個(gè)領(lǐng)域后，特效畫面的制作時(shí)間有望縮短到幾天，從而大幅降低科幻電影拍攝的時(shí)間成本和技術(shù)門檻。視頻攝制成本的降低，也將給傳媒行業(yè)帶來(lái)變革。今后，部分視頻的攝制也許只要在電腦前輸入一些提示詞，省去了現(xiàn)場(chǎng)拍攝、后期剪輯等耗時(shí)費(fèi)力的過(guò)程。（俞陶然）