【原】文生視頻 Sora：假作真時真亦假,，無為有處有還無

古典讀書治學 2024-02-20 發(fā)布于上海

展開全文

1. Sora的發(fā)布，人工智能發(fā)展史上的一個里程碑事件,。是繼推出ChatGpt之后,，有一個攪動整個互聯(lián)網的事件。

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

提示:一個時髦的女人走在東京的街道上,，到處都是溫暖發(fā)光的霓虹燈和動畫城市標志,。她穿著黑色皮夾克，紅色長裙，黑色靴子,，拿著一個黑色錢包,。她戴著太陽鏡，涂著紅色的口紅,。她走起路來自信而隨意,。街道是潮濕和反光的，創(chuàng)造了一個彩色燈光的鏡子效果,。許多行人走來走去,。

2. 簡單理解就是文本生成視頻，視頻我們也看了,，比如東京街道女子視頻,，整體很真實,，有一處腿交錯有點問題，水面的倒影，眼睛的倒影,，在動態(tài)中變化，符合自然的規(guī)律,。很驚艷,，雖然是虛構的，幾乎以假亂真,。有點石成金的錯覺,。

3. 這是構建的一個世界模型，理解自然規(guī)律,，有很好的光影關系,，時空關系，對這個物理世界的規(guī)律認識很有深度,。

4. 我們再了解一下ChatGPT,，ChatGPT是AIGC（AI-Generated Content，人工智能生成內容）技術進展的成果,。該模型能夠促進利用人工智能進行內容創(chuàng)作,、提升內容生產效率與豐富度。ChatGPT受到關注的重要原因是引入新技術RLHF（Reinforcement Learning with Human Feedback,，即基于人類反饋的強化學習）,。RLHF解決了生成模型的一個核心問題，即如何讓人工智能模型的產出和人類的常識,、認知,、需求、價值觀保持一致,。ChatGPT出現(xiàn)后,，我們也知道文生視頻的出現(xiàn)是遲早的事情,，只是沒有想到不到兩年的時間就出現(xiàn)了，這對整個互聯(lián)網是個沖擊,。Sora是這個大語言模型的一個分支,。

Sora生成

5. 讓我們害怕的是，一個虛擬的世界來了,，以后你不知道一個很生動的視頻,，到底是真實還是虛擬，以前我們知道動畫就是動畫,，動漫和真實世界是區(qū)分開來的,，而Sora生成的視頻卻和真實的世界很難區(qū)分，“假作真時真亦假,，無為有處有還無”,，紅樓夢的太虛幻境來到了真實世界。

6. 當下的視頻是無數(shù)張的圖片在時間軸上的排布,，往常的視頻生成有不連貫的情況,，而Sora用了space time patch技術，把時間微分,，從二維結構躍升為三維結構,，保證了視頻在時間軸上的穩(wěn)定性。原來的像素從二維變?yōu)槿S,。從像素面變成像素體,。

7. Sora把繪圖的過程的理解+ChatGPT非常擅長的difusuion transformer，Transformer是谷歌在2017年的論文《Attention Is All You Need》中提出的,，用于NLP的各項任務,。在機器翻譯中，Transformer可以將一種語言翻譯成另一種語言,。Sora的特點就是有一定知識基礎后可以持續(xù)學習,，可以猜，可以蒙（我們也可以說是直覺）,，輸出結果,，然后知錯就改，不斷地成熟,、成長,，變得穩(wěn)定，這就是喂養(yǎng),、訓練AI。這就需要大量的參數(shù),，需要大量的算力,，背后的基礎設施是龐大的,，投入也是我們普通人難以想象的。

Sora生成

8. 那么對于我們普通人有什么影響呢,？或者說對于哪些行業(yè)會有影響呢,？對于新技術，我覺得要有一個開放的態(tài)度,。我平時寫東西,，偶爾也會用一用百度的文心一言，很好用,，會給工作帶來便利,。Sora，首先沖擊的是視頻制作行業(yè),，首先是帶來很大的便利,。但是對于這個行業(yè)呢？從業(yè)人員肯定會減少,，會造成大批的失業(yè),，也會造就新的職業(yè)。未來的工作,，真實越來越難找了,。但是呢，越是收到沖擊的行業(yè)或職業(yè),，未來的發(fā)展?jié)摿υ酱?/strong>,。

9. 那么我們普通人，要做的,，應該是要有AI思維,，能用的先用起來，直面要比逃避好,，爭取不做AI難民,。