当前位置：主页 > 资讯 >

MoSculp：MIT CSAIL用AI从2D视频创3D打印的运动雕塑

来源：narkii 浏览数：
责任编辑：六月芳菲时间：2018-09-20 16:39

分享到：

[导读] 由于用于研究运动的传统视频和照片是二维的，因此它们不向我们展示感兴趣的人或主题的潜在3D结构。

对运动的理解是所有生物物种的基础，无论它是在计算投球的角度，还是看到捕食者和猎物的运动。但简单的视频实际上无法给我们全面的了解。由于用于研究运动的传统视频和照片是二维的，因此它们不向我们展示感兴趣的人或主题的潜在3D结构。

图片由麻省理工学院CSAIL提供

现在麻省理工学院计算机科学与人工智能实验室，谷歌研究所和加州大学伯克利分校的研究人员已经提出了一种人工智能（AI）系统来展示人体如何运动。

该系统被称为MoSculp，它使用的算法可以拍摄2D视频并将其转换为3D打印的“运动雕塑”。它可以为职业运动员，舞者或任何想要提高身体技能的人提供更详细的运动研究。

“想象一下，你有一个关于罗杰费德勒在网球比赛中投球的视频，以及一个自己学习网球的视频，”博士生张秀明说。 “然后你可以建立两种情景的动作雕塑来比较它们，并更全面地研究你需要改进的地方。”

图片来源：Jason Dorfman / MIT CSAIL

以下是它在实践中的工作原理：将视频加载到系统后，MoSculp将检测到的关键点覆盖在输入帧上，并通过几个随机选择的帧确认它们。（内置的校正工具可以让用户在必要时进行调整。）在校正“暂时不一致的检测”后，它会生成运动雕塑并将其加载到自定义界面中。

这是一个多步骤过程，所有MoSculp需求都是视频序列。以下是它的工作原理：将视频加载到系统后，MoSculp会首先自动检测拍摄对象身体上的2D关键点，例如芭蕾舞女演员的髋关节，膝关节和踝关节，同时进行复杂的舞蹈序列。然后，它将这些点的最佳姿势转化为3D“骨架”。

图片来源：Jason Dorfman / MIT CSAIL

将这些骨架拼接在一起后，系统会生成一个可以3D打印的运动雕塑，显示主体追踪的平滑，连续的运动路径。用户可以在雕塑周围导航并定制他们的图形以聚焦于不同的身体部位，分配不同的材料以区分部件，甚至自定义照明，然后使用3D打印机进行打印。

在试验期间，研究人员发现超过75％的受试者认为MoSculp提供了比标准摄影技术更详细的运动学习可视化。

该系统最适合较大的动作，例如在舞蹈序列中投球或进行一次飞跃。它也适用于可能阻碍或复杂运动的情况，例如穿着宽松衣服或携带物品的人。

目前，MoSculp仅使用单一主题视频，但该团队希望扩展到多个人。在未来，他们相信它可以用于研究诸如社交障碍，人际交往和团队动态之类的事情。

第一作者张秀明带着团队的一部“动感雕塑”。

照片：Jason Dorfman / MIT CSAIL

“舞蹈和高技能运动通常看起来像'移动雕塑'，但它们只会形成稍纵即逝的短暂形状，”Adobe传播负责人Courtney Brigham说。 “这项工作展示了如何采取动作并将其转化为具有客观运动可视化的真实雕塑，为运动员提供了一种分析他们的训练动作的方式，不需要比移动摄像机更多的设备和一些计算时间。”

该团队将于下个月在德国柏林的用户界面软件和技术（UIST）会议上展示他们的论文（“MoSculp：形状和时间的交互式可视化”）。

cr.3ders

免责声明：本文仅代表作者个人观点，与纳金网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。

TAGS：3D打印 AI