原标题:G7领导人大跳神曲?这个三维生成AI要被网友玩坏了……
计算机视觉方面的顶级学术会议 CVPR 2020 不久前刚结束,不过会上仍有不少论文值得一读。
今天我们介绍的这篇 PIFuHD,在大会上入选口头报告 (oral presentation)就非常有趣,它提出了一种全新的基于神经网络方法:只用一张人物全身正面照片,几分钟的计算时间,就可以自动重建高分辨率细节丰富的3D模型。
不仅如此,和已经存在的类似技术相比,它还可以“猜”出照片里并不存在的身体部位,比如背部:
更好玩的是,由于它可以自动生成一个标准格式的3D模型文件 (.obj),你还可以用它来进一步进行动作绘制,制作各种奇奇怪怪的视频……
我挑了一张自己不太标致的半侧身照片,试着跑了下代码(后附教程),效果虽不完美,重建的3D模型有明显噪音,脚部处理的不太好,而且跟本人长得也不算太像……不过模型的还是很令人惊喜,而且用 Google Colab 生成模型只用了三分钟:
为了避免到这里就读不下去了,我们还是放点比本文作者更养颜的效果图来看看吧……
那么,这个神经网络是如何工作的呢?
基本原理
在计算机视觉技术的范畴里,对人体进行3D模型重建有好几种方向。
最经典的方法是采用多台相机,从多个角度拍摄对象的照片,以及采用手持的结构光扫描设备,进行全方位的扫描,再在专业的软件中进行拼贴重建。2014年史密森学会制作前美国总统奥巴马的3D肖像,就是用的这种方法:
如果用机器学习的思路,用参数模型回归能够比较准确地提取人体模型,但是往往只能提取出来“裸体”的模型,人体自有的外观,包括面部特征、服装、发型等等,都被舍弃掉了。
另一种方向是无模型学习,可以还原人体的表面细节,但是模型本身的还原度很低,而且对计算资源的依赖太大。
这篇 PIFuHD 论文的目标,是对单张照片上穿着衣服的人进行高细节的3D重建,分辨率足以识别手指、面部特征、衣服褶皱等详细的信息。
基于该团队之前开发的 PIFu(像素对齐隐式函数)算法,分成两个原理相同,但功能不同的模块:
第一个模块对输入图像进行下采样,进行粗糙推理,输出一个低分辨率的三维模型;第二个模块从输入图像读取更精确的表面细节,并且引入第一个模块的结果,(这也是这篇论文标题中 Multi-Level PIFu 的来源)。
结合两个 PIFu 模块的结果,PIFuHD 实现了其目标,从一张照片中得到了高清晰度、细节丰富的3D重建模型,并且对于内存等计算资源的依赖更少,还其它已知3D重建算法直接对高清输入图像重建出1024*1024分辨率的3D模型。以及,其它方法经常出现的“假象”,在这一新方法中也有效避免。
还有一个问题:PIFuHD 是如何重建人物后背的3D模型的呢?
考虑到整个研究的限制,输入图像是单一的、正面的照片,背部的细节根本不存在,也就无法真的“重建”,只能靠猜。而猜的工作,是由两个模块都具备的多层感知器 (Multilayer Perceptron, MLP) 进行的。
由于 MLP 的工作原理,以及研究限制,如果不进行优化的话,生成的模型背面,其肌理非常平滑,几乎没有任何细节的存在,这又显得太不真实。
所以研究者在流程当中增加了一个环节,把背部模型推理工作的一部分移到特征提取的步骤里,就能够生成具有更多细节,更容易让观看者信服的背部肌理。
除了图像之外,PIFuHD 还可以对视频进行逐帧重建:
这篇论文的设计巧妙,也提出和引用了很多计算机视觉领域和3D重建方向最新的概念。论文由Facebook 的人工智能实验室、Facebook现实实验室(原 Oculus Research)和南加州大学共同进行,第一作者为 Shunsuke Saito。
网友神·二次创作
研究者非常体贴地在 Google Colab 上提供了运行所需的代码,只要经过简单的配置就可以运行。我找了一些难度较低的淘宝和街拍照片进行测试:
第一张,除了鞋的重建说不过去,整体完美:
第二张,似乎因为背景太复杂,导致提取细节时出现了误判,其它还原的比较精确,包括手和包,以及头左侧头发的质感:
又找了一些不是很标致,并非完全正脸的照片,效果也还算不错:
生成的模型也可以下载下来,放到诸如 Blender 等动画软件里,进行“二次创作”……这不,网友们已经大开脑洞了。
在下面这条视频里,这位网友似乎是用一张模特照片重建了3D模型,还增加了细节贴图,然后放到 ARKit 里,这样就可以在手机上打开了:
更厉害的还在后面。
静态的3D模型已经不能满足网友了,下面这位把自己的模型和舞蹈动作追踪组合起来,变成了街舞达人:
最后这个最神奇,网友把七国集团领导人全部复制成了3D模型,然后强迫他们跳日本神曲《新宝岛》:
这些网友的二次创作,玩的复杂多了,但其实技术门槛并不算高:只要用 PIFuHD 生成的模型文件,在 Blender 等3D渲染软件里打开,把输入图片作为贴图加上去,再用动画软件给新的模型加上动作什么的……
简直是没有做不到,只有想不到。
上手教程
论文作者很体贴地在 Google Colab(一个免费、在线、无需配置的 Python 开发环境)上提供了代码,任何人只要可以访问 Google 都可以进行测试。
在这里我们提供一个简单的教程,即使你不会写代码也可以轻松制作自己的3D模型:
首先访问论文的展示页面 https://shunsukesaito.github.io/PIFuHD/,点击"Demo"链接,进入 Google Colab;点击下图中这个按钮:
然后在新打开的 Google Colab 页面("PIFuHD Demo 的副本") 上开始操作。右上角选择连接到托管代码执行程序 (hosted runtime),然后在菜单栏的代码执行程序 (runtime) 里确认 runtime 种类为 GPU,保存:
Google Colab 是一个既可以写代码,又可以添加文字、图片和视频等各种注释内容的平台,不过我们关注代码块就好了。
每个代码块的左上角都会有一个运行的按钮,就像播放键一样。接下来你需要按从第一个到第四个代码块的运行按钮,跳过第五个代码块,选择第六个代码块,先不要按播放。
点击页面左边的文件夹,点击刷新,上传你的图片文件(最好是.png,实测.jpg等其他格式偶尔报错),然后把上传好的文件拖拽到 /pifuhd/sample_images 文件夹里
然后回到右边刚才选定的代码块,把你上传的输入图像的文件名写到下图中高亮位置:
然后,点击菜单栏的代码执行程序 (Runtime),选择“运行当前单元格以及其后的所有单元格”,或者用键盘快捷键输入⌘/Ctrl+F10即可。
然后看着代码运行就好了。
一般重建3D模型的工作只用三五分钟。完成后你可以在左侧文件夹的 pifuhd/results/pifuhd_final/recon 路径里找到并下载生成的模型文件(.obj 格式) 和一张特征图(.png 格式,没什么用)。
你会发现程序仍然在跑余下的代码块,因为剩下的时间主要是在等渲染,程序会把输入图像和重建3D模型拼接到一起,生成一条可以下载的视频。
Colab 毕竟是一个免费的工具,图像处理的输入和输出尺寸也有限制。我自己测试后发现,在 Colab 上重建的模型,脸部细节和衣服还原真实程度比研究者自己做出来的差多了。
不过,就算没有任何代码知识,只需五分钟就可以体验机器学习3D重建模型的快乐,还是蛮不错的~游戏网
责任编辑:
-
斗罗大陆:新模唐三正脸被“攻破”,看到模型,太帅了!_阿银
9 02020-07-04 -
野村哲也设计的漫威英雄模型,现已开启预订
2 02020-07-02 -
《机动战士高达SEEDDESTINYASTRAY》圣约高达模型公开!
7 02020-06-23 -
迷你世界微缩模型家具教程_迷你世界微缩模型家具教程详情_快吧单机游戏
10 02020-06-23 -
「HelloKittyx高达模型」即将推出合作模型商品
7 02020-06-23 -
【欣赏】新手进步明显,突袭型gn弓兵_高达模型
2 02020-06-22 -
GSC《宇崎酱想要玩耍》宇崎花1/7比例模型
5 02020-06-17 -
【欣赏】魔蟹旧化场景_高达模型
8 02020-06-16 -
【公开处刑】以后这个作者的作品就……_高达模型
14 02020-06-13 -
网友制作喜欢架空高中生偶像的架空女高中生的房间模型_朝仓
3 02020-06-10 -
英雄联盟手游模型是什么样 手游模型一览
4 02020-06-07 -
外媒网站曝光了一款iPhone13的3D打印模型
5 02020-06-05 -
外媒曝光苹果全新iPhone模型:配无刘海真全面屏
6 02020-06-05 -
iPhone 13模型机已曝光?采用无刘海设计+USB-C
14 02020-06-05 -
用爱达模型简单分析《剑与远征》的付费设计
10 02020-05-28 -
《宝可梦 剑盾》推出1/20全新食玩模型 9月发售
0 02020-05-20 -
《桌面萌娘MMD》怎么导入VRM模型 导入VRM模型教程说明
28 02020-05-19 -
【新手村】奔赴宿舍发来大量作品_高达模型
4 02020-05-18 -
侠隐阁主角模型&立绘替换教程
46 02020-05-15 -
坂口博信公开新游《Fantasian》新开发图 仍在制作情景模型
6 02020-05-11 -
《桌面萌娘MMD》怎么导入模型 导入模型方法一览
0 02020-05-11 -
谷歌T5预训练模型单次运行成本超130万美元?算力和金钱才是模型训练的王道
9 02020-05-05 -
跑跑卡丁车手游红旗模型什么时候调整 红旗模型切换即将上线
10 02020-04-30 -
跑跑卡丁车手游红旗模型调整什么时候出?红旗新旧模型切换详情
6 02020-04-29 -
数据ETL:反作弊的应用与基础模型
7 02020-04-18 -
迷你世界怎么做人物模型-迷你世界人物模型制作方法_快吧手游
15 02020-04-11 -
迷你世界微缩模型怎么做-迷你世界微缩模型做法_快吧手游
7 02020-04-11 -
GeoAI-空间显式模型
14 02020-04-08 -
【欣赏】HG-GEO扎古2旧化方案_高达模型
0 02020-04-03 -
模型制作教程:高达模型不会摆POSE?来看这个就对了_交件
5 02020-03-28 -
“吃鸡”国际服玩家发现神秘生物,模型超大,遮蔽了g港整个天空
6 02020-03-21 -
用2D图像生成3D模型,微软新AI模型或成游戏业福音
9 02020-03-10 -
男人的浪漫就是穿高达!优衣库x高达模型40周年T恤
6 02020-02-10 -
实例解析:实体零售的单店模型和连锁模型_经营
6 02020-01-01 -
实体零售的单店模型和连锁模型_经营
8 02020-01-01 -
宝可梦3D模型制作方Creatures被GameFreak除名
21 02019-12-10 -
万代PG机动战士高达SEED完美强袭高达模型开订!
13 02019-11-30 -
CSGO新人物模型遇冷:ECSS8将采用默认角色模型_地图
14 02019-11-22 -
CSGO新人物模型遇冷:ECS S8将采用默认角色模型
17 02019-11-22 -
模玩资讯:万代BESTHITCHRONICLE游戏主机2/5比例组装模型_合作
10 02019-11-14 -
游戏《宝可梦剑盾》炎上!网友质疑并未重新制作模型_进行
9 02019-11-14 -
大神用模型拍《死亡搁浅》短片全部模型亲手制作
18 02019-11-14 -
网曝《宝可梦:剑/盾》众多模型未升级网友怒喷GF欺诈
26 02019-11-14 -
模玩秀:民用模型作品TAMIYA1/24GT-RR34_田宫
7 02019-11-02 -
PS与SS主机迷你模型公开介绍影像与细节 今天开始接受预约
18 02019-11-01 -
帝国时代2决定版单位模型都一样吗兵种高清模型对比一览
142 02019-10-28 -
《帝国时代2决定版》单位模型都一样吗 兵种高清模型对比一览
172 02019-10-28 -
7Papers|2019安卓手机AI性能评测;谷歌T5预训练模型刷榜GLUE;自动驾驶论文综述
21 02019-10-27 -
AARRR模型拆解(二):Activation用户激活
7 02019-10-23 -
千值练《风之谷》竹谷隆之究极王虫可动模型_官方
21 02019-10-21
234游戏网站地图
子站导航 |
|||