本文讲述了我的第二个光场渲染引擎的相关进展情况，前一个光场渲染引擎在去年10月时就在视频“光场渲染器的实现”中有所描述，其原理部分基于 Aaron Isaksen 的论文《动态光场再参量化》（Dynamically Reparameterized Light Fields）：从源图片中甄选出目标图片，再经过投影变换在 CPU 中合成视图，之后通过桌面窗口来展示结果，详情可参见视频。

范围

对第二个引擎来说，项目范围如下：

1. 在 GPU 中合成视图，并通过 VR 技术来呈现： 
   具体是在 CUDA（Compute Unified Device Architecture，统一计算设备架构）中实现，并输出到 Oculus Rift（DK2，安装 Oculus Runtime 0.8）。尽管在前一个项目中，我侥幸用了30到50毫秒来渲染 sub-HD 图片，不过 VR 需求的分辨率更高，且要求渲染时间（双眼）不能超过10毫秒。

2. 成像质量与计划使用光束的很好配比： 
   我尝试通过计划范围内的光束群来获得很好的成像质量，根据设定：在实验阶段的光束数量计划为 1亿道（100 Megarays）。这个数量的光束群算是中等规模的：Lytro Illum 物理光场相机使用了 4000 万道光束（40 Megarays），而我之前的另一个项目使用的某个样本是 9亿道光束（900 Megarays）。对于全方位应用来说，经常会遇到数十亿束光线所组成的光场。需要注意的是：在视频的样例中，光束数量不足3亿；目前我尚未找到1亿光线所能达成的满意视图质量。

3. 限定景深范围内的特写镜头： 
   我一直在关注浅景深特写的问题。

Demo 请点击这里查看（需科学上网）。

在视频中有一些重要的东西没能体现出来，有些好有些不好。

• 分辨率： 视频所展示的应用镜像窗口比在 VR 中实际投射的视图分辨率要低得多（参见下面的性能描述）。

• 尺寸与深度： 在视频中完全没能展示出来，但在实际 VR 展示中，对象的尺寸与物质性都很不错。在 VR 中，对人体头部的渲染结果正如真人的头部大小。

• 恐怖谷理论(注1)： 质量已经很接近了，但事实上还是达不到。因此整个效果看起来还是更像有景深的照片而不是真人。无论急促的呼吸，还是水晶闪烁的动态循环画面都还有很大的改善空间。

• 视觉调整失败： 在 VR 世界中，由于位置追踪的存在，视线对人像头部有很好地锁定，因此质量是有可信度的。当人脸逐渐接近镜头时，大脑会对图像有一个预期的增加度。本来在逐渐接近时，双眼会尝试重新逐步调整焦点，但由于分辨率是由源数据集决定的，这会让人有奇怪的感觉，似乎视觉调整失效了。之前我没有体验过这种感觉。

数据集细节

• 女性头部

  • 3亿道光束
  • 原始模型是768K 的多边形，8K 材质。
  • 捕获：1000 个样本/像素的路径跟踪。

• 水晶

  • 3亿道光束
  • 捕获：4000 个样本/像素的路径跟踪。由于水晶内层有很多折射面反射/折射光线，高光深度为48。

两个光场都是由Octane 3.0 渲染器的 alpha 测试版，通过定制 Lua 脚本捕获。

性能

渲染视图达到 2364×2927 的分辨率，这个数字达到我使用的 Oculus DK2 像素密度的2倍，然后图像会根据 DK2 1920×1080 分辨率的屏幕进行调整。可以很好地运行在 GTX 980Ti 显卡上。

此外这个视图还能插入并传输到低分辨率的镜像窗口，就在之前对 Oculus 的 compositor 发布渲染时曾执行过这个步骤。

显然关于渲染光场最有趣的部分是渲染时间独立于场景复杂性之外，这就是为什么我关注的案例都是很难或几乎不可能实时渲染的原因。女性脸庞是超过 750K 的多边形，使用复杂材料以及 8K 材质，而水晶则对光线路径及焦散线特别提出了挑战（很不幸在我使用的设置中，这些并非真正不可见的），只能使用光线路径来渲染。

应用

在视频中的应用名叫 Hypercapsule，名称的后半部分是因为它吸收了 Capsule 的部分理念（在这篇文章中有所描述），能在 Oculus DK2 中渲染全方位立体视觉图像。而名称的前半部分 “Hyper” 则是由于在实现的核心部分使用了 4D 意识。

目前我还不打算发布这个应用，之后它会发展成为更大型的应用。

注1 恐怖谷理论：是关于人类对机器人和非人类物体的感觉的假设：由于机器人与人类在外表、动作上相似，所以人类亦会对机器人产生正面的情感；直到一个特定程度，他们的反应便会突然变得极为负面。哪怕机器人与人类只有一点点的差别，都会显得非常显眼刺目，让整个机器人显得非常僵硬恐怖，使人有面对行尸走肉的感觉。可是，当机器人的和人类的相似度继续上升，相当于普通人之间的相似度的时候，人类对他们的情感反应会再度回到正面，产生人类与人类之间的移情作用。

关于：中科研拓

深圳市中科研拓科技有限公司专注提供软件外包、app开发、智能硬件开发、O2O电商平台、手机应用程序、大数据系统、物联网项目等开发外包服务，十年研发经验，上百成功案例，中科院软件外包合作企业。通过IT技术实现创造客户和社会的价值，致力于为用户提供很好的软件解决方案。联系电话400-0316-532，邮箱sales@zhongkerd.com，网址www.zhongkerd.com