用2D圖像生成3D模型，微軟新AI模型或成游戲業福音
時間：2020-03-12 14:53 來源：澎湃新聞 作者：中國3D打印網 閱讀：次
將2D圖像轉換為3D圖像，對于視頻游戲開發人員、電子商務公司、動畫公司來說，至關重要，但這并不容易。包括Facebook，英偉達等科技巨頭的人工智能（AI）研究實驗室，以及一些初創公司都在這個領域里不斷探索。
近日，微軟研究院（Microsoft Research）的研究團隊發表了一篇預印論文，他們在論文中詳細介紹了一個新的AI框架，該框架采用“可縮放”訓練技術，可將2D圖像進行3D形狀的模擬生成。研究人員表示，在使用2D圖像進行訓練時，該框架始終可以比現有的模型生成效果更好的3D形狀，這對于游戲開發、視頻制作、動畫等領域是一個極佳的自動化工具。
微軟團隊則是使用了工業渲染器，這個渲染器可以根據顯示數據來生成圖像。此外，研究人員還訓練了3D形狀生成模型，以便渲染形狀，并生成與2D數據集分布相匹配的圖像。換句話說，這是一種新穎的代理神經渲染器，可以直接渲染由3D形狀生成模型生成的連續體素網格。
在實驗過程中，研究團隊在上述3D形狀生成模型中采用了3D卷積GAN架構。GAN又稱為生成式對抗網絡，是一個由兩部分組成的AI模型，它可以基于3D模型生成的數據集和真實的數據集，合成來自不同對象類別的圖像，并在整個訓練過程中從不同角度進行渲染。
據研究人員介紹，他們的下一步計劃是將整套方法整合出一個相對完整的系統，將顏色、材料、光照等細節統統加入進來，從而打造一個“更為全面”真實照片轉換三維模型的數據集。
近日，微軟研究院（Microsoft Research）的研究團隊發表了一篇預印論文，他們在論文中詳細介紹了一個新的AI框架，該框架采用“可縮放”訓練技術，可將2D圖像進行3D形狀的模擬生成。研究人員表示，在使用2D圖像進行訓練時，該框架始終可以比現有的模型生成效果更好的3D形狀，這對于游戲開發、視頻制作、動畫等領域是一個極佳的自動化工具。
微軟AI模型生成的3D沙發、椅子和浴缸
通常來說，一個模型框架要將2D轉換為3D圖像，需要通過柵格化處理來進行微分步驟渲染，因此，過去研究人員在該領域的努力都專注于開發定制渲染模型。然而，通過此類模型處理的圖像會顯得不夠真實自然，也不適合用于生成游戲以及圖形產業的工業效果圖。微軟團隊則是使用了工業渲染器，這個渲染器可以根據顯示數據來生成圖像。此外，研究人員還訓練了3D形狀生成模型，以便渲染形狀，并生成與2D數據集分布相匹配的圖像。換句話說，這是一種新穎的代理神經渲染器，可以直接渲染由3D形狀生成模型生成的連續體素網格。
在實驗過程中，研究團隊在上述3D形狀生成模型中采用了3D卷積GAN架構。GAN又稱為生成式對抗網絡，是一個由兩部分組成的AI模型，它可以基于3D模型生成的數據集和真實的數據集，合成來自不同對象類別的圖像，并在整個訓練過程中從不同角度進行渲染。
微軟AI模型生成的3D蘑菇圖像
此外，研發人員在論文中表示，它們的新方法還充分利用了2D照片中光照和陰影的信息，具體而言，是利用表面之間的曝光差值，進行檢測凹面和凸面，以及內部結構，從而判斷物體三維物體的中心，從而實現更好的模擬訓練，生成更逼真的3D模型。據研究人員介紹，他們的下一步計劃是將整套方法整合出一個相對完整的系統，將顏色、材料、光照等細節統統加入進來，從而打造一個“更為全面”真實照片轉換三維模型的數據集。
(責任編輯：admin)
NASA與ICON聯手推進太空3D
第八屆醫院3D打印論壇：個
3D打印巨頭Stratasys收購
Nature子刊：3D打印技術助
全球兩大3D掃描儀巨頭合并
美國交通部長稱，FAA正借最新內容
美國空軍2860萬美
美國軍工企業強強
美國斥資450萬美
GoEngineer通過收
3D食品打印：烹
卡內基梅隆研究人熱點內容
