还记得电影《头号玩家》中令人神往的档案馆吗?那里存储着角色的三维虚拟影像,玩家不仅能观看,更能自由切换任意视角,深入查看角色过去的记忆片段,仿佛亲身置身于那段时空之中。
这曾经是科幻电影的想象,但如今,在科学家手中,这一构想正加速变为现实。
《FreeTimeGS:面向动态场景重建的时空无界自由高斯》研究论文截图 本文图片与视频均由受访者供图
日前,浙江大学软件学院联合计算机学院带来了创新成果——FreeTimeGS,这一全新的4D表示方法,标志着在3D技术广泛应用之后,科学家们向新维度进军的重要结果。相关研究成果已在国际顶级视觉会议CVPR 2025上发表。
4D究竟是什么?它又将如何改变人类的记录方式?FreeTimeGS科研团队核心成员、浙江大学软件学院研究员彭思达接受了潮新闻记者的专访。
从3D到4D:给场景装上“时光引擎”
谈及4D,人们最常问的问题往往是:它与熟悉的3D有何不同?
“简单来说,4D就是在3D的基础上,增加了一个时间维度。”彭思达解释道,时间维度的加入,使得记录下的不再是静态的立体模型,而是能够流畅“动起来”的完整时空连续体,“也就是可以‘动’的3D场景。”
FreeTimeGS科研团队研究过程
如果把照片的基本构成单位比作“像素”,那么,在3D的世界里,画面的基本单元就被称为“高斯”。此次发布的FreeTimeGS技术,名称意味着在自由时间下运用高斯,就是让原本静态的三维高斯,在时间维度上动起来。
这项技术的强大之处在于,其前所未有的自由度和保真度。用户能从任意一个视角、任意一个时间点来重新观察当时的场景,获得如同在游戏中自由探索般的沉浸体验。
例如在演示视频中,男子与小狗玩篮球的动态情形清晰可见,用户还能拉近画面,观察每一个生动的细节。
攻坚克难:让不可能变为可能
从2020年起,浙江大学求是特聘教授周晓巍和彭思达研究员团队就踏上了研发4D技术的征途。这条探索之路布满荆棘,尤其在追求极致动态细节还原上,挑战巨大。
“一开始,渲染画面的质量上不去,导致看到的动态画面不够流畅清晰。”彭思达说道,最大的难题出现在处理高速运动的物体上,“一旦人物高速运动,尤其是头发、飘带这类纤细、高速、无规则抖动的物体,画面就会‘崩溃’,出现模糊或断层。”
为了攻克这一难关,团队进行了海量的尝试和优化。他们设计百余组对比试验,反复测试、调整和优化核心算法模型,连续数月。“最疯狂的时候,团队成员每天工作十几个小时,基本上就是睡在实验室了。”彭思达回忆道。
最终,他们成功设计出较为理想的运动方程,突破了高速动态细节精准建模的瓶颈,实现了对复杂动态场景的高保真度、连贯性还原。
前不久,由周晓巍教授和彭思达研究员团队技术呈现的4D场景画面上传网络后,迅速引发广泛关注。
正如网友所言,在传统摄影技术中,要在限定时间内完整、多角度地记录下整个场景的每一个细节,“几乎是不可能的事情”,而团队正致力于将这种“不可能”变为可能。
未来已来:新的记录形态正在落地
目前,构建一个4D场景仍需依赖专门的拍摄设备,尚未融入人们的日常记录。那么,4D技术距离真正走进大众生活还有多远?
“这就像照相机刚发明的时候,必须去照相馆专门搭一个笼子去拍摄,随着技术的进步,以后一定会越来越便捷。” 彭思达说道。
他透露,团队接下来的研究重点就是大幅降低设备的复杂程度,致力于推动技术的实用化落地,让专业级的4D捕捉能力,未来能够集成到更小巧、更智能的设备中。
试想,未来在演唱会现场,观众通过VR头显,可以任意切换舞台视角,仿佛置身于明星身边,获得前所未有的观演体验。
4D技术的价值远不止于娱乐。彭思达强调,在专业领域,它将成为强大的变革性工具。
如在运动科学中,可对运动员的细微动作进行毫米级的多角度精准分析;在医疗领域,能完整高保真地记录复杂手术过程用于教学与复盘;在考古和历史纪实方面,则可永久性、全方位地保存珍贵的现场动态信息。
记录方式不断升级,为人类留存记忆提供了更广阔的想象空间。从更宏大的视角看,记录方式的每一次跃升,都极大地拓展了留存记忆的可能性。而一个能够自由穿梭时空、重温记忆细节的未来,正随着4D技术的发展而日益清晰。