3d基本走势图:蒙娜麗莎一鍵“復活”!三星AI Lab:只需一張圖能合成動畫

來源:快報
責任編輯:王亮
字體:

福建体彩走势图 www.uyduz.icu

新智元報道

來源:arxiv

編輯:肖琴、張佳

【新智元導讀】還記得哈利?波特第一次來到霍格沃茨看到墻上那些既會動又會說話的掛畫是多么驚訝嗎?如果我們可以將掛畫 “復活”,和 500 多年前的蒙娜麗莎來場穿越時空的對話會怎樣呢?感謝 AI 技術,把畫 “復活” 不再是夢!

名畫《蒙娜麗莎的微笑》,會動了!

夢娜麗莎轉過頭,嘴里說著話,微微眨了眨眼,臉上帶著溫婉的微笑。

是的,《哈利·波特》世界中”會動的畫“魔法實現了!來自三星AI中心(Samsung AI Center)和莫斯科斯的Skolkovo 科學技術研究所的一組研究人員,開發了一個能將讓JPEG變GIF的AI系統。

《哈利·波特》中守衛格蘭芬多學院休息室的胖夫人畫像

更牛逼的是,該技術完全無需3D建模,僅需一張圖片就能訓練出惟妙惟肖的動畫。研究人員稱這種學習方式為“few-shot learning"。

當然,如果有多幾張照片——8張或32張——創造出來動圖效果就更逼真了。比如:

愛因斯坦給你講物理:

瑪麗蓮夢露和你 flirt:

本周,三星AI實驗室的研究人員發表了一篇題為 “Few-Shot Adversarial Learning of Realistic Neural Talking Head Models” 的論文,概述了這種技術。該技術基于卷積神經網絡,其目標是獲得一個輸入源圖像,模擬目標輸出視頻中某個人的運動,從而將初始圖像轉換為人物正在說話的短視頻。

論文一發表馬上引起轟動,畢竟這項技術創造了巨大的想象空間!

類似這樣的項目有很多,所以這個想法并不特別新穎。但在這篇論文中,最有趣的是,該系統不需要大量的訓練示例,而且系統只需要看一次圖片就可以運行。這就是為什么它讓《蒙娜麗莎》活起來。

3個神經網絡,讓蒙娜麗莎活起來

這項技術采用“元學習”架構,如下圖所示:

圖2:“讓照片動起來”元學習架構

具體來說,涉及三個神經網絡:

首先,嵌入式網絡映射輸入圖像中的眼睛、鼻子、嘴巴大小等信息,并將其轉換為向量;

其次,生成式網絡通過繪制人像的面部地標(face landmarks)來復制人在視頻中的面部表情;

第三,鑒別器網絡將來自輸入圖像的嵌入向量粘貼到目標視頻的landmark上,使輸入圖像能夠模擬視頻中的運動。

最后,計算“真實性得分”。該分數用于檢查源圖像與目標視頻中的姿態的匹配程度。

元學習過程:只需1張輸入圖像

研究人員使用VoxCeleb2數據集對這個模型進行了預訓練,這是一個包含許多名人頭像的數據庫。在這個過程中,前面描述的過程是一樣的,但是這里的源圖像和目標圖像只是同一視頻的不同幀。

因此,這個系統不是讓一幅畫去模仿視頻中的另一個人,而是有一個可以與之比較的ground truth。通過持續訓練,直到生成的幀與訓練視頻中的真實幀十分相似為止。

預訓練階段允許模型在只有很少示例的輸入上工作。哪怕只有一張圖片可用時,結果也不會太糟,但當有更多圖片可用時,結果會更加真實。

實驗和結果

研究人員使用2個數據集分別進行定量和定性評估:VoxCeleb1數據集用于與基準模型進行比較,VoxCeleb2用于展示他們所提出方法的效果。

研究人員在三種不同的設置中將他們的模型與基準模型進行了比較,使用fine-tuning集中的1幀、8幀和32幀。

表1:few-shot learning設置下不同方法的定量比較

結果如表1上半部分所示,基線模型在兩個相似性度量上始終優于我們的方法。

不過,這些指標不能完全代表人類的感知,因為這兩種方法都會產生恐怖谷偽影,從圖3的定性比較和用戶研究結果可以看出。

另一方面,余弦相似度與視覺質量有更好的相關性,但仍然傾向于模糊、不太真實的圖像,這也可以通過表1-Top與圖3中的比較結果看出。

圖3:使用1張、8張和32張訓練圖像時的三個示例。系統采用一個源圖像(第1列),并嘗試將該圖像映射到ground truth幀中的相同位置(第2列)。研究人員將他們的結果與X2Face、PixtopixHD模型進行了比較。

大規模的結果。

隨后,我們擴展可用的數據,并在更大的VoxCeleb2數據集中訓練我們的方法。

下面是2個變體模型的結果:

圖4:在VoxCeleb2數據集中的最佳模型的結果。

同樣,訓練幀的數量是T(左邊的數字),第1列是示例訓練幀。第2列是ground truth圖像,后3列分別是我們的FF feed-forward 模型及微調前后的結果。雖然 feed-forward變體的學習更快速,但fine-tuning 最終提供了更好的真實感和保真度。

最后,我們展示了的照片和繪畫的結果。

圖5:讓靜態照片“活”起來

論文地址:

https://arxiv.org/pdf/1905.08233v1.pdf

請注意:本文轉載自QQ快報,并不代表本網贊同其觀點,版權歸原作者所有,本網不承擔任何責任,特此聲明。

根據您訪問的內容,您可能還對以下內容感興趣,希望對您有幫助:

蒙娜麗莎的微笑為什么是文藝復興的巔峰之作?

答:《蒙娜麗莎》代表了文藝復興時期的美學方向;該作品折射出來的女性的深邃與高尚的思想品質,反映了文藝復興時期人們對于女性美的審美理念和審美追求。 在構圖上,達·芬奇為了加強對人物時代特征,打破了打破了傳統的構圖方式,突破了對女性的刻...

1911年,蒙娜麗莎被竊是怎么回事啊?兩年后,失而復得...

答:【資料】 1911年8月22日,那天是星期一,法國盧浮宮的閉館日。盧浮宮油漆匠,30歲左右的意大利人溫琴佐·佩魯賈把《蒙娜麗莎》從畫框中取下來,卷起來藏在衣服下面,逃之夭夭。佩魯賈只是個打工窮漢,他其實并不知道這幅畫日后會名滿天下,僅僅是...

蒙娜麗莎在文藝復興時期有什么意義

答:《蒙娜麗莎》是文藝復興時代畫家列奧納多·達·芬奇所繪的麗莎·喬宮多的肖像畫?!睹贍壤鏨肥且環磧惺⒂男は窕蘢?。它代表達·芬奇的最高藝術成就,成功地塑造了資本主義上升時期一位城市有產階級的婦女形象?!J兌帳跗?。

意大利文藝復興巨匠達芬奇的傳世名作蒙娜麗莎為什...

答:達·芬奇在人文主義思想影響下,著力表現人的感情。在構圖上,達·芬奇改變了以往畫肖像畫時采用側面半身或截至胸部的習慣,代之以正面的胸像構圖,透視點略微上升,使構圖呈金字塔形,蒙娜麗莎就顯得更加端莊、穩重。另外,蒙娜麗莎的一雙手,柔...

文藝復興時期對蒙娜麗莎創作風格的影響是什么(緊...

答:文藝復興發生于14~17世紀的歐洲,是歐洲新興的資產階級在復興希臘羅馬古典文化名義下發起的資產階級思想解放運動。它的實質是形成中的資產階級在思想領域進行的的反封建、反中世紀神學世界觀斗爭。 人文主義是歐洲文藝復興時期新興資產階級反封...

宋代張擇端的《清明上河圖》和文藝復興時期達·芬奇...

答: A 試題分析:《清明上河圖》是風俗畫的典型代表,而風俗畫的出現主要是商品經濟的發展、市民階層壯大的結果?!睹贍壤鏨肥俏囊嶄蔥聳逼詰湫偷淖髕?,而文藝復興的發生主要是歐洲商品經濟發展和資本主義萌芽的結果。故兩者呈現出世俗化傾向的共...

歷史上有個畫家(好像是塞尚)在蒙娜麗莎的復制品...

答:呵呵!不是塞尚,而是達達主義的馬塞爾·杜尚 (Marcel Duchamp,1887--1968)。 1919年,杜尚用鉛筆給達·芬奇筆下的蒙娜麗莎加上了式樣不同的小胡子,于是“帶胡須的蒙娜麗莎”成了西方繪畫史上的名作。 ——希望能采納

《蒙娜麗莎》是文藝復興時代哪位畫家所畫的肖像畫?

答:達芬奇 達芬奇

《蒙娜麗莎》典型地表現了文藝復興時期的時代精神...

答: D 試題分析:人文主義是文藝復興的指導思想,即肯定人,注重人性,強調以人為中心,反對以神為中心,贊揚人的價值與尊嚴;提倡現世的自由和幸福。 《蒙娜麗莎》表現了藝術家對女性美和人豐富精神生活的贊賞,體現了文藝復興的核心思想 “人文主...

尋找一首英文歌 歌詞里有蒙娜麗莎一個詞反復出現 ...

答:Britney Spears - Mona Lisa ?

聲明:以上內容由用戶提供,并不代表本網贊同其觀點。如有任何不妥,請與不良與違法信息舉報中心聯系:[email protected]

福建体彩走势图 www.uyduz.icu true //www.uyduz.icu/q/20190524/20190524A0AF5E.html report 37845
娛樂時尚
    科技資訊
    歷史文化
      真視界
      旅游美食
      精彩圖文
      我愛我車
      母嬰健康
      關于本站 | 廣告服務 | 手機版 | 商務合作 | 免責申明 | 招聘信息 | 聯系我們
      Copyright © 2004-2018 www.uyduz.icu All Rights Reserved. 布客網 版權所有
      京ICP備10044368號-1 京公網安備11010802011102號
      12345678910 熱門社會娛樂體育軍事汽車財經科技育兒歷史美食數碼心理時尚寵物收藏家居文化三農健康科學游戲動漫教育職場旅游電影教育考試: 學歷財經建筑 醫藥公考資格外語電腦作文招聘中小學留學 文檔 移民 文庫專欄23問答中心z資訊z資訊1資訊漲資訊漲資訊1資訊問答圖書館知識IT編程數碼信息解決方案信息中心IT科技問答新聞中心軟件教室設計大全網絡相關英語學習開發編程考試中心參考范文管理文庫營銷中心站長之家IT信息中心商學院數碼大全硬件DIY企業服務網吧在線百科硬件知識手機平板汽車游戲家電精彩攝影現代家居IT女人經驗健康養生獵奇創業攻略教育學習歷史時尚潮流福建体彩走势图漲知識