查看: 3594|回复: 1

[计算机视觉] 仅用1张照片就生成写实3D化身,这家新公司有啥厉害的?

[复制链接]

1240

主题

11

听众

6720

积分

版主

Rank: 7Rank: 7Rank: 7

纳金币
5474
精华
6

荣誉管理 论坛元老 突出贡献 优秀版主

发表于 2017-4-6 17:07:10 |显示全部楼层
伴随上周三星发布会的召开,VR行业有个大事件,卡马克重新设计了 Gear VR 版的 Oculus Home,让 Gear VR 的显示比Oculus还清晰,简直太牛逼啦!
但是,让小编更感兴趣的是,Oculus Avatar 支持 Gear VR 啦。就是说,在移动版的Oculus Home里,会有一个Avatar (你的虚拟化身)编辑器,你可以通过选择面部轮廓、发型、衣服、眼镜和帽子创建自己的VR身份。
1.png

而且你的虚拟化身可在 Gear VR 和 Oculus Rift 里通用。是不是很神奇,不过现在创建的虚拟化身很简单,没有面部表情,动画风格,细节很少。
2.gif

Oculus Avatar 是2016年12月6日推出的应用,很明显,服务于 Facebook 的VR社交大计,同时 Oculus 还开放了 Oculus Avatar SDK,现在已经更新到1.12.0版本。
3.png

那么除了Oculus Avatar,其它的虚拟化身公司技术如何,已经做到何程度了呢?
我们来看看- Loom.ai 这家虚拟化身技术公司。这家公司很牛掰,能用单张照片生成写实风格3D化身,并且支持动画表情。先来看看根据伊隆马斯克照片做的3D虚拟化身。
是不是还挺像的,你看虚拟马斯克左右瞟眼神,嘴巴“噗噗”的,还挺生动的。
4.gif

马斯克委屈、惊讶的表情
5.gif

值得注意的是,所有这些效果只要一张2D照片(如上图右上角的马斯克照片),就能生成3D的头像,并伴有丰富的表情动画效果。
他是如何做到的呢?
使用 Loom.ai 公共的 Avatar API,就能把单张图片变成3D头像效果,这些工作在云端全自动部署。
同时,这些表情动画是使用预定义面部动画来循环实现。
那么使用 Loom.ai 的 Avatar API 能做什么呢?
首先,使用 Avatar API 能针对用户照片定制出工业级别的 FACS facial rig (就是面部建模的意思),并可以导入任何主流的游戏引擎来创建富有创意的数字内容。
我们就看眼睛区域的效果,就能看出 Loom.ai 能生成复杂的眼睛动作,伴随着眉毛、眼睑的变化就较好的表现出不同的表情。小编仔细看,瞳孔是没有变化的,看来要让瞳孔变化还是太难啦。
6.gif

使用 Avatar API 不仅可以生成写实风的3D化身,也可以根据需要生成卡通化的虚拟化身,并且具有全局的保真度,就是大体上还是相似的。
7.gif

那么这家技术公司如何挣钱呢?
Loom.ai目前主要是B2B2C模式。
Loom.ai 已经开发了一套云端API和SDK,给企业用户提供一整套的解决方案,而企业用户则利用他们的系统提供服务给开发者,Loom.ai希望通过技术授权等方式来盈利,目前已经开放商家内测中。
其实 Loom.ai 是一家非常年轻的公司,2016年成立,并在当年12月获得了 Danhua Capital, Y Combinator, Presence Capital, Anorak Ventures等 135 万美元种子轮投资。魔多君查看 Loom.ai 的twitter就是在2016年12月注册的。
8.png

但是他们公司成员的资历都很老,在相关领域都有超过10年的工作经验。
9.png

Kiran Bhat, Loom.ai 的CTO ,在电影行业的高端VFX领域有12年的计算机视觉算法经验。Lucasfilm电脑视觉研发团队的负责人。
Mahesh Ramasubramanian,Loom.ai 的CEO,在电影行业的高端VFX领域有12年的计算机视觉算法经验。曾就职于梦工厂,主管动画视觉效果,大家熟知的《马达加斯加3》视觉效果就出自他手。
Akash Garg,Loom.ai 的首席工程师,具有超过15年的软件开发经验,并拥有哥伦比亚大学博士学位。
这里重点说下 Kiran Bhat,他是一个获得过奥斯卡的程序员。
10.png

其实奥斯卡奖是美国电影艺术与科学学院奖的别称,正式名称叫“学院奖”( Academy Awards)。
Kiran Bhat 获得的是奥斯卡科技成果奖(Academy Scientific and Technical Awards),是由美国电影艺术与科学学院颁发的一项科学技术奖,颁发对象为在科技成就上对电影产业进步有杰出贡献的个人或公司。在今年2月份举行。
Kiran Bhat毕业于卡耐基梅隆大学机器人系,后在著名的电影特效公司-工业光魔ILM领导特效相关的工作。
就是由于在工业光魔建立脸部表情捕捉系统的突出成就,他才获得了此奖。
11.png

电影《复仇者联盟》和《加勒比海盗》这两部电影面部效果的研发负责人就是 Kiran Bhat,比如绿巨人的面部表情
12.gif

后来,Kiran Bhat 离职并拉着 Loom.ai 现在的CEO Mahesh一起创业,小编认为不仅因为 Kiran Bhat 自身丰富的经验和牛逼的技术,还有现在VR/AR行业的发展,特别是VR社交领域对于虚拟3D化身具有很强的需求,而且现在没有一个成本低、效果好、部署快的解决方案,所以他们切入这个痛点,即使在2016年,也是投资人认可并投资。
从 Loom.ai 的方案(使用云端处理+手机客户端、单张照片速成3D化身)中就表明了 Loom.ai 的产品是针对社交的。
好了,看到这里,魔多君明白了为啥 Loom.ai 刚成立公司就拿到了135万美元的种子轮,为啥一个小公司就想切入VR社交,我们静看 Loom.ai 的3D化身什么时候能出现在流行的VR社交软件里。

来源:魔多
回复

使用道具 举报

0

主题

1

听众

26

积分

设计初学者

Rank: 1

纳金币
3
精华
0
发表于 2017-5-6 20:52:34 |显示全部楼层
有个人的照片来吗
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|纳金网 ( 闽ICP备08008928号

GMT+8, 2024-3-29 19:26 , Processed in 0.096366 second(s), 37 queries .

Powered by Discuz!-创意设计 X2.5

© 2008-2019 Narkii Inc.

回顶部