双色走势图:谷歌預測景深新研究:單一視點也能合成3D深度圖

來源:快報
責任編輯:王亮
字體:

福建体彩走势图 www.uyduz.icu

銅靈 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

一個你邊走邊拍得到的普通視頻,現在也能重建出精準的3D世界了。

這一次,谷歌用深度學習的方法,不僅從視頻中重建了移動對象的景深圖,而且效果精準驚艷。即使拍攝相機和人物同時在運動,也能很好重建景深圖。

輸入這樣的視頻:

就能輸出這樣的3D景深版:

谷歌在博客中表示,這是世界首個在攝像機和人體同時運動情況下的深度學習景深預測算法,優于制作深度圖的最先進工具。

半天時間,推特有近千次的點贊,網友表示:“超級酷”。

研究論文也被CVPR 2019 接收,脫穎而出成為一篇Oral論文。

學習先驗

讓網友high起來的點在于,傳統的創建景深圖的方法,需要至少兩個視點同時捕捉影像。通過兩個不同的視角在同一時間段的變化軌跡,才能拼接重建出3D的影像。

就像下面這樣:

而谷歌的這項研究,只需要用一個視點的影像即可預測位置關系進行重建,比傳統方法簡化了不是一星半點,變成了下面這樣:

在論文Learning the Depths of Moving People by Watching Frozen People中,研究人員介紹了具體的設計細節。

和傳統方法最大的改進在于,谷歌的新方法可以用深度學習,從數據中學習人體姿態和形狀的先驗知識,避開了直接的3D三角測量(3D triangulation)。

這個模型應該如何去構建?

如何獲取訓練數據是擺在前面的第一個問題,在這個數據集中,需要移動的攝像機拍攝的自然場景視頻,以及精確的深度圖。這樣的數據集,似乎在谷歌家族產品中就能找到。

研究人員選取了YouTube上關于#假人挑戰#(Mannequin Challenge)話題的數據,在這種類型的視頻中,被拍攝者需做出一個定格動作,且要表現與人體模型一樣靜止不動,并由攝影師透過移動鏡頭的技巧進行拍攝:

有了這些數據,再利用多視角立體( Multi-View Stereo,MVS)算法,就可以獲取到包含其中人物在內整個場景的深度圖了。

合成景深圖流程

搞定數據集后,第二個問題來了,如何能在人物和攝像機同時移動的情況下構建景深圖呢?

此前,谷歌在展示過在Pixel 3手機中,通過單目攝像頭確定景深圖的研究。但在這個項目中,只有手機鏡頭在動,被拍攝的人靜止。

但這個研究的難度顯然升級了。

研究人員針對視頻中的單個幀,單獨進行深度推斷。他們計算了視頻中每一幀和其他幀之間的2D光流(2D optical flow),用來表示兩幀之間的像素位移。

為了在測試時處理移動的人物,他們采用了人像分割網絡( human-segmentation network)來掩蓋初始深度圖中的人類區域。整個網路的完整輸入包括:

RGB圖像

人物mask

來自視差的mask深度圖

此外,通過學習人類姿態和人體形狀的先驗,研究人員細化了景深圖中各種細節。

經過大量訓練后,這個模型可以處理任意相機位置和人體運動的自然視頻。

研究人員將這個新模型與此前DORN DeMoN等類似算法進行了測評對比,結果如下:

此外,除了合成景深圖,這個新模型還能應用到將合成的CG對象插入到視頻場景中。

結果顯示,即使晃動攝像機改變其位置,也能用視頻其他幀的像素填充人物后面的背景區域。

傳送門

谷歌官方博客:

https://ai.googleblog.com/2019/05/moving-camera-moving-people-deep.html

論文地址:

https://arxiv.org/abs/1904.11111

作者系網易新聞·網易號“各有態度”簽約作者

小程序|get更多AI學習干貨

加入社群

量子位AI社群開始招募啦,社群矩陣:AI討論群、AI+行業群、AI技術群;

目前已有4萬AI行業從業者、愛好者加入,AI技術群更有來自海內外各大高校實驗室大牛、各明星AI公司工程師等。自由互相交流AI發展現狀及趨勢。

歡迎對AI感興趣的同學,在量子位公眾號(QbitAI)對話界面回復關鍵字“微信群”,獲取入群方式。(技術群與AI+行業群需經過審核,審核較嚴,敬請諒解)

喜歡就點「在看」吧 !

請注意:本文轉載自QQ快報,并不代表本網贊同其觀點,版權歸原作者所有,本網不承擔任何責任,特此聲明。

根據您訪問的內容,您可能還對以下內容感興趣,希望對您有幫助:

什么是單反的景深預測功能?求解

光圈是開到最大的,此時并不是你設定要曝光的光圈,而光圈大小決定了景深,所以在這個時候看到的景深不是最終曝光的景深,往往此時景深小于曝光景深,相機有一個景深預測按...

景深預測和濾鏡有什么關系?濾鏡會影響景深嗎?拜托各位大神

不會 沒聯系的

EOS相機中景深預測有什么用?

呵呵 讓預先看到成像后的景深啊。 這樣拍出來成功率就比較高。 就像預先看到結果一樣,自然就可以避免廢片嘛。

關于膠片相機景深預測功能的問題

驗證時,你看著取景窗,按下預測按鈕不放,同時開始改變鏡頭的光圈值,就會發現,隨著光圈的改變,取景范圍內的前后背景清晰效果會改變。(光圈變小,景深增大;光圈變大,景深變小...

佳能60d有象景深預測嗎

有景深預覽的,應該在機身卡口右邊就是靠近手柄那側,跟以前的在左邊不同

尼康d80景深預測開關怎么用,按下開關反光版翻起,什么也看不...

景深預測開關反光板是不翻起的,只是鏡頭光圈收攏到你設置的參數上,通過取景器觀看景深效果,此時只是光線變暗,不會什么也看不到.

索尼A550 有景深預測功能么?

景深預覽屬于單反的基本功能,肯定有的。 索尼A550的性能在入門機中是非常強的,雖然高感光度時成像不如佳能的機器,但有機身防抖,用到高感的機會并不多。 而佳能50...

請問佳能70D相機是否有景深預測功能,網上公布資料似乎沒有...

佳能70D具有景深預覽功能,按下鏡頭下方的按鍵就可以使用了。

請問佳能70D相機是否有景深預測功能,網上公布資料似乎沒有...

佳能70D具有景深預覽功能,按下鏡頭下方的按鍵就可以使用了。 滿意請采納

美能達x700的景深預測按鈕怎么用的,怎么一按就從取景器里看...

按下這個按鈕之后,光圈會收縮到實際光圈(也就是拍攝者設定的光圈),此時從取景器中看到的,就是實際光圈下的景深范圍(大致接近照片中的景深范圍)。 由于按下景深預覽按鈕...

聲明:以上內容由用戶提供,并不代表本網贊同其觀點。如有任何不妥,請與不良與違法信息舉報中心聯系:[email protected]

福建体彩走势图 www.uyduz.icu true //www.uyduz.icu/q/20190524/20190524A0B9Q6.html report 20309
娛樂時尚
    科技資訊
    歷史文化
      真視界
      旅游美食
      精彩圖文
      我愛我車
      母嬰健康
      關于本站 | 廣告服務 | 手機版 | 商務合作 | 免責申明 | 招聘信息 | 聯系我們
      Copyright © 2004-2018 www.uyduz.icu All Rights Reserved. 布客網 版權所有
      京ICP備10044368號-1 京公網安備11010802011102號
      12345678910 熱門社會娛樂體育軍事汽車財經科技育兒歷史美食數碼心理時尚寵物收藏家居文化三農健康科學游戲動漫教育職場旅游電影教育考試: 學歷財經建筑 醫藥公考資格外語電腦作文招聘中小學留學 文檔 移民 文庫專欄23問答中心z資訊z資訊1資訊漲資訊漲資訊1資訊問答圖書館知識IT編程數碼信息解決方案信息中心IT科技問答新聞中心軟件教室設計大全網絡相關英語學習開發編程考試中心參考范文管理文庫營銷中心站長之家IT信息中心商學院數碼大全硬件DIY企業服務網吧在線百科硬件知識手機平板汽車游戲家電精彩攝影現代家居IT女人經驗健康養生獵奇創業攻略教育學習歷史時尚潮流福建体彩走势图漲知識