近日,浙江大学博士生导师周晓巍带领团队的一款名为Neural Body的新型视图合成技术,在计算机视觉顶会CVPR 2021上(IEEE Conference on Computer Vision and Pattern Recognition)发表,并吸引了众多关注。其中,周晓巍担任通讯作者,其学生彭思达为第一作者。
据悉,基于这项技术,能够更好地捕捉人物的动作,只需输入少量角度拍摄的人体镜头,便可合成360°的人体3D新视图。在这一基础上,只用少量素材,未来我们在看球赛、演唱会视频等画面时,也就能够用手指移动任意角度,清楚地观看其中的一系列动态细节。这样沉浸全视角的观感,是不是很神奇?
除了突破以往视觉真实感、反光表面/透明区域处理方面的瓶颈,该项技术更难能可贵的突破是:它清晰完成了动态场景的视图合成,而且是用非常稀疏的视角输入,比如三四个RGB相机,就可以完成视图采集。而且效果出众——太极跳舞、拳击和踢腿等动作一个不落全能“神还原”。经过实验验证,该方法优于此前的其它方法。
在他们的研究设计过程中,周晓巍团队研究成员假设,不同时刻的辐射场都由同一组隐编码来生成,这一组隐编码附着在人体模型上,会随着人体运动。这样就可建立起不同时刻辐射场之间的联系,从而充分利用视频中所有时刻的信息,来学习人体的3D表示。
针对此方法,他们创建了一个多视图数据集来进行评估,该数据集使用一个有21个同步摄像头的多摄像头系统,共捕获9个动态人体视频,并选择4个均匀分布的摄像机进行训练,使用剩余的摄像机进行测试。
而针对这项技术的实际应用,研究人员表示,一些VR和全景展示的场景都非常有望实现大规模应用,比如电商直播和VR看房这样实实在在就在我们日常生活中的场景。
浙江大学教师个人主页资料显示,周晓巍为浙江大学计算机学院CAD&CG国家重点实验室“百人计划”研究员、博士生导师。
在此次研究中,周晓巍团队的95后研究成员——彭思达也获得了不少关注。彭思达目前25岁,是浙江大学CAD&CG国家重点实验室三年级博士研究生,研究三维重建与物体位姿检测。2020年曾获评CCF-CV学术新锐奖。年纪轻轻就获得这样的学术成就,让人不禁感叹后生可畏。
论文链接:https://arxiv.org/pdf/2012.15838.pdf
http://paperreading.club/page?id=67384
立足学术前沿,远瞻产业发展。更多数据请参考前瞻产业研究院《2021-2026年中国虚拟现实(VR)行业市场需求与投资规划分析报告》,同时前瞻产业研究院提供产业大数据、产业规划、产业申报、产业园区规划、产业招商引资、IPO募投可研等解决方案。