MoSculp:MIT CSAIL使用AI從2D視頻創建3D打印“運動雕塑”
時間:2018-09-19 23:01 來源:未知 作者:中國3D打印網 閱讀:次

圖片由麻省理工學院CSAIL提供
近日,麻省理工學院計算機科學與人工智能實驗室,谷歌研究所和加州大學伯克利分校的研究人員已經提出了一種人工智能(AI)系統來展示人體如何運動。該系統被稱為MoSculp,它使用的算法可以拍攝2D視頻并將其轉換為3D打印的“運動雕塑”。它可以為職業運動員,舞者或任何想要提高身體技能的人提供更詳細的運動研究。
“想象一下,你有一個關于羅杰費德勒在網球比賽中投球的視頻,以及一個自己學習網球的視頻。”博士生張秀明說, “然后你可以建立兩種情景的動作雕塑來比較它們,并更全面地研究你需要改進的地方。”

圖片來源:Jason Dorfman / MIT CSAIL
以下是它在實踐中的工作原理:將視頻加載到系統后,MoSculp將檢測到的關鍵點覆蓋在輸入幀上,并通過幾個隨機選擇的幀確認它們。 (內置的校正工具可以讓用戶在必要時進行調整。)在校正“暫時不一致的檢測”后,它會生成運動雕塑并將其加載到自定義界面中。這是一個多步驟過程,所有MoSculp需求都是視頻序列。將視頻加載到系統后,MoSculp會首先自動檢測拍攝對象身體上的2D關鍵點,例如芭蕾舞女演員的髖關節,膝關節和踝關節,同時進行復雜的舞蹈序列。然后,它將這些點的最佳姿勢轉化為3D“骨架”。

圖片來源:Jason Dorfman / MIT CSAIL
將這些骨架拼接在一起后,系統會生成一個可以3D打印的運動雕塑,顯示主體追蹤的平滑,連續的運動路徑。用戶可以在雕塑周圍導航并定制他們的圖形以聚焦于不同的身體部位,分配不同的材料以區分部件,甚至自定義照明,然后使用3D打印機進行打印。在試驗期間,研究人員發現超過75%的受試者認為MoSculp提供了比標準攝影技術更詳細的運動學習可視化。

該系統最適合較大的動作,例如在舞蹈序列中拋球或進行一次飛躍。它也適用于可能阻礙或復雜運動的情況,例如穿著寬松衣服或攜帶物品的人。
目前,MoSculp僅使用單一主題視頻,但該團隊希望擴展到多個人。在未來,他們相信它可以用于研究諸如社交障礙,人際交往和團隊動態之類的事情。

第一作者張秀明帶著團隊的一部“動感雕塑”。照片:Jason Dorfman / MIT CSAIL
“舞蹈和高技能運動通常看起來像'移動雕塑',但它們只會形成稍縱即逝的短暫形狀,”Adobe傳播負責人Courtney Brigham說。 “這項工作展示了如何采取動作并將其轉化為具有客觀運動可視化的真實雕塑,為運動員提供了一種分析他們的訓練動作的方式,不需要比移動攝像機更多的設備和一些計算時間。”
中國3D打印網譯自:3ders.org
(責任編輯:admin)
最新內容
熱點內容