前瞻经济学人 看懂未来新十年

打开APP

牛人!95后浙大博士生开发全新视图合成系统,任意角度实现360°沉浸式观感

Evelyn Zhang

近日,浙江大学博士生导师周晓巍带领团队的一款名为Neural Body的新型视图合成技术,在计算机视觉顶会CVPR 2021上(IEEE Conference on Computer Vision and Pattern Recognition)发表,并吸引了众多关注。其中,周晓巍担任通讯作者,其学生彭思达为第一作者。

雷军被质疑是假程序员?雷军带货首秀金额破亿,观看人数达七千多万

据悉,基于这项技术,能够更好地捕捉人物的动作,只需输入少量角度拍摄的人体镜头,便可合成360°的人体3D新视图。在这一基础上,只用少量素材,未来我们在看球赛、演唱会视频等画面时,也就能够用手指移动任意角度,清楚地观看其中的一系列动态细节。这样沉浸全视角的观感,是不是很神奇?

除了突破以往视觉真实感、反光表面/透明区域处理方面的瓶颈,该项技术更难能可贵的突破是:它清晰完成了动态场景的视图合成,而且是用非常稀疏的视角输入,比如三四个RGB相机,就可以完成视图采集。而且效果出众——太极跳舞、拳击和踢腿等动作一个不落全能“神还原”。经过实验验证,该方法优于此前的其它方法。

在他们的研究设计过程中,周晓巍团队研究成员假设,不同时刻的辐射场都由同一组隐编码来生成,这一组隐编码附着在人体模型上,会随着人体运动。这样就可建立起不同时刻辐射场之间的联系,从而充分利用视频中所有时刻的信息,来学习人体的3D表示。

针对此方法,他们创建了一个多视图数据集来进行评估,该数据集使用一个有21个同步摄像头的多摄像头系统,共捕获9个动态人体视频,并选择4个均匀分布的摄像机进行训练,使用剩余的摄像机进行测试。

而针对这项技术的实际应用,研究人员表示,一些VR和全景展示的场景都非常有望实现大规模应用,比如电商直播和VR看房这样实实在在就在我们日常生活中的场景。

浙江大学教师个人主页资料显示,周晓巍为浙江大学计算机学院CAD&CG国家重点实验室“百人计划”研究员、博士生导师。

在此次研究中,周晓巍团队的95后研究成员——彭思达也获得了不少关注。彭思达目前25岁,是浙江大学CAD&CG国家重点实验室三年级博士研究生,研究三维重建与物体位姿检测。2020年曾获评CCF-CV学术新锐奖。年纪轻轻就获得这样的学术成就,让人不禁感叹后生可畏。

论文链接:https://arxiv.org/pdf/2012.15838.pdf

http://paperreading.club/page?id=67384

立足学术前沿,远瞻产业发展。更多数据请参考前瞻产业研究院《2021-2026年中国虚拟现实(VR)行业市场需求与投资规划分析报告》,同时前瞻产业研究院提供产业大数据、产业规划、产业申报、产业园区规划、产业招商引资、IPO募投可研等解决方案。


阅读全文

相关深度报告

2021-2026年中国虚拟现实(VR)行业市场需求与投资规划分析报告
2221人订制
打开APP,享受沉浸式阅读体验

提问研究员

一键提问研究员,零距离互动交流

我要提问
1

App数据库能为你做什么?

看看用户怎么说

2

App问答能为你做什么?

看看用户怎么说

3

App报告能为你做什么?

看看用户怎么说

4

App文章能为你做什么?

看看用户怎么说

相关阅读