它包含一個(gè)裝有超廣角鏡頭的照相機(jī)，戴在拍攝對象的胸前。通過280度的視場角，該攝像頭不僅能拍攝到被拍攝對象前方的環(huán)境，還能拍攝到他們的手臂、腿部和面部。
通過三個(gè)特別設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)對視頻進(jìn)行分析，分別估計(jì)出被拍攝對象的三維身體姿勢、頭部姿勢以及攝像頭在周圍環(huán)境中的方位。這些數(shù)據(jù)被用來建立主體的動畫線框計(jì)算機(jī)模型，復(fù)制他們的動作。
到目前為止，MonoEye的神經(jīng)網(wǎng)絡(luò)已經(jīng)在一個(gè)由68萬張不同體型和尺寸的人進(jìn)行各種活動的渲染數(shù)據(jù)集上進(jìn)行了訓(xùn)練，所以在系統(tǒng)優(yōu)化用于物理身體之前，還需要做一些工作。
不過最終，人們希望這項(xiàng)技術(shù)可能會被改進(jìn)成像領(lǐng)帶夾或胸針一樣小巧的東西。然后，它可以作為傳統(tǒng)動作捕捉系統(tǒng)的一個(gè)更便宜、更簡單的替代品。
這項(xiàng)研究將在本周通過第33屆ACM用戶界面軟件和技術(shù)在線研討會發(fā)表。
