
75年前,人們用寶麗來 (Polaroid ) 當(dāng)相機(jī)拍攝世界上第一張實(shí)時(shí)成像照片時(shí),它是一張逼真的照片 2D 快速捕捉圖像 3D 世界畫面的創(chuàng)舉。如今,人工智能 (AI) 研究人員反過來,在幾秒鐘內(nèi)將一組靜態(tài)圖像變成數(shù)字 3D 場(chǎng)景。
芯片采購(gòu)網(wǎng)專注于整合國(guó)內(nèi)外授權(quán)IC代理商現(xiàn)貨資源,芯片庫存實(shí)時(shí)查詢,行業(yè)價(jià)格合理,采購(gòu)方便IC芯片,國(guó)內(nèi)專業(yè)芯片采購(gòu)平臺(tái)。
NVIDIA Research 通過人工智能,它將在間 2D 平面照片變成 3D 立體場(chǎng)景
這叫逆向渲染 (inverse rendering) 使用過程 AI 估計(jì)光線在現(xiàn)實(shí)世界中的表現(xiàn),使研究人員能夠從不同角度拍攝少量光線 2D 影像來重建 3D 場(chǎng)景。NVIDIA Research 該團(tuán)隊(duì)開發(fā)了一種幾乎可以在瞬間完成任務(wù)的方法,是第一個(gè)將超高速神經(jīng)網(wǎng)絡(luò)訓(xùn)練與快速渲染相結(jié)合的模型之一。
NVIDIA 將該方法應(yīng)用于神經(jīng)輻射場(chǎng) (Neural Radiance Fields;NeRF) 在熱門新技術(shù)上創(chuàng)造 Instant NeRF 這是當(dāng)今渲染速度最快的 NeRF 在某些情況下,技術(shù)的速度可以提高超過 1,000 倍。幾十張靜態(tài)照片可以在幾秒鐘內(nèi)完成訓(xùn)練模型,再加上拍攝角度的數(shù)據(jù),可以在幾十毫秒內(nèi)渲染出來 3D 場(chǎng)景。
NVIDIA 繪圖研究部副總裁 David Luebke 表示:「如果說傳統(tǒng)的多邊形網(wǎng)格是這樣的話 3D 表達(dá)就像向量圖,所以 NeRF 就像位圖一樣,它們會(huì)從物體或場(chǎng)景中密集捕捉光線。從這個(gè)意義上說,Instant NeRF 對(duì) 3D 不亞于數(shù)字相機(jī)和 JPEG 壓縮技術(shù)對(duì) 2D 攝影的重要性可以大大提高 3D 速度、共享的速度、便利性和范圍。」
在 NVIDIA GTC 會(huì)議議程中顯示 Instant NeRF,可用于為虛擬世界建立化身或場(chǎng)景 3D 拍攝視頻會(huì)議的參與者和環(huán)境,或者為 3D 重建場(chǎng)景的數(shù)字地圖。
NVIDIA Research 為了向早期的寶麗致敬,團(tuán)隊(duì)重現(xiàn)了安迪。 (Andy Warhol) 拍攝實(shí)時(shí)成像照片的經(jīng)典照片,使用 Instant NeRF 將其轉(zhuǎn)變?yōu)?3D 場(chǎng)景。
NeRF是什么?
NeRF 根據(jù)輸入組 2D 圖像,使用神經(jīng)網(wǎng)絡(luò)來表達(dá)和渲染現(xiàn)實(shí) 3D 場(chǎng)景。
在投資前收集數(shù)據(jù) NeRF 這有點(diǎn)像紅毯上的攝影師試圖從各個(gè)角度拍攝名人的華麗衣服,而神經(jīng)網(wǎng)絡(luò)需要數(shù)十張照片,以及每張照片的相機(jī)位置。
如果場(chǎng)景中的人或物體移動(dòng),拍照越快越好。如果你在拍攝 2D 人或物體在圖像過程中移動(dòng)過多,AI 會(huì)產(chǎn)生模糊 3D 場(chǎng)景。
基本上,NeRF 在這個(gè)時(shí)候,它將填補(bǔ)空白,訓(xùn)練一個(gè)小的神經(jīng)網(wǎng)絡(luò), 3D 空間中任何一點(diǎn)輻射到任何方向的光顏色都可以重建場(chǎng)景。該技術(shù)甚至可以解決一些照片中的物體被其他照片中的柱子和其他障礙物覆蓋的問題。
利用 Instant NeRF 渲染速度提高1000倍
人類自然會(huì)根據(jù)一些圖片來估計(jì)物體的深度和外觀,但這對(duì) AI 這是一項(xiàng)困難的任務(wù)。
根據(jù)圖片的復(fù)雜性和分辨率,用傳統(tǒng)的方法建立一個(gè) 3D 場(chǎng)景需要幾個(gè)小時(shí)甚至更長(zhǎng)時(shí)間。 AI 加快處理速度。早期開發(fā) NeRF 模型可以在幾分鐘內(nèi)渲染出無偽影的清晰場(chǎng)景,但訓(xùn)練還需要幾個(gè)小時(shí)。
然而,Instant NeRF 但渲染時(shí)間大大縮短,其原因 NVIDIA 所開發(fā)出的 Multi-resolution Hash Encoding 基于技術(shù),可以優(yōu)化調(diào)整這項(xiàng)技術(shù) NVIDIA GPU 高效運(yùn)行。通過新的輸入編碼方法,研究人員可以利用高速運(yùn)行的微神經(jīng)網(wǎng)絡(luò)創(chuàng)造高質(zhì)量的結(jié)果。
使用研究人員 NVIDIA CUDA 工具套件與 Tiny CUDA 神經(jīng)網(wǎng)絡(luò)函U-Blox代理開發(fā)這個(gè)模型的模型。這個(gè)小神經(jīng)網(wǎng)絡(luò)可以單一 NVIDIA GPU 訓(xùn)練和操作,搭載 NVIDIA Tensor 核心顯示適配器運(yùn)行速度最高。
該技術(shù)可用于拍攝物理環(huán)境物體 2D 照片或電影通過訓(xùn)練機(jī)器人和自動(dòng)駕駛汽車來了解這些物體的大小和形狀。建筑業(yè)和娛樂業(yè)也可以使用該技術(shù)快速為實(shí)體環(huán)境建立數(shù)字圖片,創(chuàng)作者可以使用它進(jìn)行修改和構(gòu)建。
除了 NeRF,NVIDIA 研究人員還在探索如何使用這種輸入編碼技術(shù)來加速多項(xiàng)處理 AI 該領(lǐng)域的問題包括加強(qiáng)學(xué)習(xí)、語言翻譯和一般的深度學(xué)習(xí)算法。
- 射頻硅基氮化鎵:兩個(gè)世界的最佳選擇
- 希捷機(jī)械硬盤即將沖擊30TB:SSD逼太緊
- 電機(jī)控制面臨新的要求 提升自身實(shí)力是根本
- 特斯拉勁敵Rivian被曝計(jì)劃裁員5% 涉及數(shù)百人
- 英格爾率先推出了最新的英飛凌 750 V車輛規(guī)級(jí)分立式IGBT EDT2器件
- SSD硬盤價(jià)格飆升 閃存污染的影響有多大?西數(shù)回應(yīng)
- 臺(tái)積電將5nm產(chǎn)量增加到15萬片/月
- 西門子EDA:構(gòu)建數(shù)字創(chuàng)新"底座",推動(dòng)智能未來
- 聊聊6分錢的Type C連接器
- 蘋果watchOS 9正式發(fā)布:更個(gè)性化的表盤,適合Apple Watch S4
- 英特爾對(duì)chiplet對(duì)未來的一些看法
- 2022中關(guān)村論壇系列活動(dòng)-第六屆北京核心中關(guān)村IC舉行產(chǎn)業(yè)論壇!
