靠谱 的软件外包伙伴

您的位置:首页 > 新闻动态 > VR软件开发中的光场渲染!

VR软件开发中的光场渲染!

2016-05-11 17:13:24

本文讲述了我的第二个光场渲染引擎的相关进展情况,前一个光场渲染引擎在去年10月时就在视频“光场渲染器的实现”中有所描述,其原理部分基于 Aaron Isaksen 的论文《动态光场再参量化》(Dynamically Reparameterized Light Fields):从源图片中甄选出目标图片,再经过投影变换在 CPU 中合成视图,之后通过桌面窗口来展示结果,详情可参见视频。

范围

对第二个引擎来说,项目范围如下:

  1. 在 GPU 中合成视图,并通过 VR 技术来呈现: 
    具体是在 CUDA(Compute Unified Device Architecture,统一计算设备架构)中实现,并输出到 Oculus Rift(DK2,安装 Oculus Runtime 0.8)。尽管在前一个项目中,我侥幸用了30到50毫秒来渲染 sub-HD 图片,不过 VR 需求的分辨率更高,且要求渲染时间(双眼)不能超过10毫秒。

  2. 成像质量与计划使用光束的最佳配比: 
    我尝试通过计划范围内的光束群来获得最佳的成像质量,根据设定:在实验阶段的光束数量计划为 1亿道(100 Megarays)。这个数量的光束群算是中等规模的:Lytro Illum 物理光场相机使用了 4000 万道光束(40 Megarays),而我之前的另一个项目使用的某个样本是 9亿道光束(900 Megarays)。对于全方位应用来说,经常会遇到数十亿束光线所组成的光场。需要注意的是:在视频的样例中,光束数量不足3亿;目前我尚未找到1亿光线所能达成的满意视图质量。

  3. 限定景深范围内的特写镜头: 
    我一直在关注浅景深特写的问题。

Demo 请点击这里查看(需科学上网)。

在视频中有一些重要的东西没能体现出来,有些好有些不好。

  • 分辨率: 视频所展示的应用镜像窗口比在 VR 中实际投射的视图分辨率要低得多(参见下面的性能描述)。

  • 尺寸与深度: 在视频中完全没能展示出来,但在实际 VR 展示中,对象的尺寸与物质性都很不错。在 VR 中,对人体头部的渲染结果正如真人的头部大小。

  • 恐怖谷理论(注1): 质量已经很接近了,但事实上还是达不到。因此整个效果看起来还是更像有景深的照片而不是真人。无论急促的呼吸,还是水晶闪烁的动态循环画面都还有很大的改善空间。

  • 视觉调整失败: 在 VR 世界中,由于位置追踪的存在,视线对人像头部有很好地锁定,因此质量是有可信度的。当人脸逐渐接近镜头时,大脑会对图像有一个预期的增加度。本来在逐渐接近时,双眼会尝试重新逐步调整焦点,但由于分辨率是由源数据集决定的,这会让人有奇怪的感觉,似乎视觉调整失效了。之前我没有体验过这种感觉。

数据集细节

  • 女性头部

    • 3亿道光束
    • 原始模型是768K 的多边形,8K 材质。
    • 捕获:1000 个样本/像素的路径跟踪。
  • 水晶

    • 3亿道光束
    • 捕获:4000 个样本/像素的路径跟踪。由于水晶内层有很多折射面反射/折射光线,高光深度为48。

两个光场都是由Octane 3.0 渲染器的 alpha 测试版,通过定制 Lua 脚本捕获。

性能

渲染视图达到 2364×2927 的分辨率,这个数字达到我使用的 Oculus DK2 像素密度的2倍,然后图像会根据 DK2 1920×1080 分辨率的屏幕进行调整。可以很好地运行在 GTX 980Ti 显卡上。

此外这个视图还能插入并传输到低分辨率的镜像窗口,就在之前对 Oculus 的 compositor 发布渲染时曾执行过这个步骤。

显然关于渲染光场最有趣的部分是渲染时间独立于场景复杂性之外,这就是为什么我关注的案例都是很难或几乎不可能实时渲染的原因。女性脸庞是超过 750K 的多边形,使用复杂材料以及 8K 材质,而水晶则对光线路径及焦散线特别提出了挑战(很不幸在我使用的设置中,这些并非真正不可见的),只能使用光线路径来渲染。

应用

在视频中的应用名叫 Hypercapsule,名称的后半部分是因为它吸收了 Capsule 的部分理念(在这篇文章中有所描述),能在 Oculus DK2 中渲染全方位立体视觉图像。而名称的前半部分 “Hyper” 则是由于在实现的核心部分使用了 4D 意识。

目前我还不打算发布这个应用,之后它会发展成为更大型的应用。


注1 恐怖谷理论:是关于人类对机器人和非人类物体的感觉的假设:由于机器人与人类在外表、动作上相似,所以人类亦会对机器人产生正面的情感;直到一个特定程度,他们的反应便会突然变得极为负面。哪怕机器人与人类只有一点点的差别,都会显得非常显眼刺目,让整个机器人显得非常僵硬恐怖,使人有面对行尸走肉的感觉。可是,当机器人的和人类的相似度继续上升,相当于普通人之间的相似度的时候,人类对他们的情感反应会再度回到正面,产生人类与人类之间的移情作用。

 

关于:中科研拓

深圳市中科研拓科技有限公司专注提供软件外包、app开发、智能硬件开发、O2O电商平台、手机应用程序、大数据系统、物联网项目等开发外包服务,十年研发经验,上百成功案例,中科院软件外包合作企业。通过IT技术实现创造客户和社会的价值,致力于为用户提供最佳的软件解决方案。联系电话400-0316-532,邮箱sales@zhongkerd.com,网址www.zhongkerd.com


  上一篇   [返回首页] [打印] [返回上页]   下一篇