炸裂！复旦二年级博士登 Nature：用 AI 彻底打破裸眼 3D 的百年物理魔咒！

🚀 摘要：重新定义裸眼3D显示

传统的裸眼3D显示技术一直受限于空间带宽积的物理瓶颈，难以同时实现大尺寸和超广视角。这篇发表于 《Nature》 的重磅论文，提出了一种名为 EyeReal 的创新解决方案。

EyeReal 首次将物理学原理与深度学习算法相结合，实现了对有限 SBP 的实时动态优化利用，成功在一个低成本光场显示设备上，实现了桌面显示器规模的全视差裸眼3D显示，其无缝视角范围超过 ，并能以  的分辨率稳定在 50 Hz 以上实时运行。这项突破为下一代显示技术奠定了实用基础。

💡 核心团队与单位

📜 背景：难以逾越的物理瓶颈

高品质的3D成像需要大尺寸的显示区域和宽广的视角。然而，光学系统的固有特性决定了空间分辨率和角域多样性之间存在一个根本的权衡，即**空间带宽积（Space-Bandwidth Product, SBP）**的限制。

• • 全息显示技术： 牺牲了显示尺寸，通常仅限于厘米级，难以用于自然观看。
• • 多视角（Automultiscopic）技术： 牺牲了视角连续性，或将 SBP 聚集在固定的、狭窄的观看区域，限制了观看者的自由移动。

现有的人工智能增强方法仍然在固定的 SBP 框架内运作。因此，实现大规模、广视角的裸眼3D显示，同时解决因瞳距（IPD）不匹配和**辐辏调节冲突（VAC）**带来的不适，成为了该领域的核心挑战。

✨ 颠覆性创新点：实时动态 SBP 利用

EyeReal 的核心创新在于提出了动态 SBP 利用的范式，通过计算来最大限度地发挥现有光学硬件的潜力：

1. 1. 动态优化 SBP： 首次提出主动式解决方案，实时优化光场信息流，将其聚集在观看者的双眼中心及其邻近区域，从而最大化有限 SBP 的有效利用。
2. 2. 物理精确的双目建模： 采用物理精确的双目几何模型（针孔相机模型），结合 6D 姿态矩阵，在全空间维度（水平、垂直、径向）上精确地表征和生成真实的立体视差，实现任意观看方向的连续运动视差。
3. 3. 高性能与低成本硬件结合： 在低成本、消费级液晶显示器（LCD）堆栈上实现，无需定制的光学元件（如微透镜阵列或空间光调制器），将显示功能主要转移到算法的计算负载上。
4. 4. 卓越的显示效果：

• • 大尺寸、超广角： 实现了桌面显示器规模，无缝视角超过 。
• • 全视差支持： 支持立体视差、运动视差和焦距视差（Focal Parallax），有效缓解 VAC。
• • 实时性能： 渲染速度超过 50 Hz ()，达到实时应用的门槛。

🛠️ 详细方法：AI驱动的光场生成

1. 空间带宽积与视场角关系

根据傅里叶光学原理，SBP（）描述了光学显示系统的信息容量：

• • : 空间带宽积 (Space-Bandwidth Product, SBP)
• • : 屏幕面积
• • : 像素尺寸
• • : 沿着 x 轴和 y 轴的带宽限制（最大空间频率）

在分辨率为  的简化系统中，SBP 等于 。

对于一维场景，视场角（）与最大带宽 () 和波长 () 的关系为：

该公式揭示了高分辨率（高空间频率 ）会导致视角变窄的物理限制。

2. 基于马吕斯定律的光场调制

EyeReal 的显示原型采用多层液晶面板堆栈，通过相位变化来编码光场信息。最终出射光场的发光强度  遵循马吕斯定律：

• • : 在视锥场 () 中光线  的出射光强度。
• • : 背光通过后偏振片后，光线  的原始强度。
• • : 所有深度采样（液晶面板层）的集合。
• • : 光线  与深度  处光学图案的交点相位。

3. 学习型相位分解模型

EyeReal 将最优光场计算问题转化为一个带有眼部几何编码的学习型相位分解模型。

• • 眼部几何编码（Ocular Geometric Encoding）：
• • 利用 6D 眼部姿态矩阵，将双眼相机捕获的视网膜图像，通过反向透视变换，统一转换为几何归一化的平面扭曲（planar warpings）。
• • 这些扭曲的图像代表了在不同深度平面上，光场信息应该如何分布的几何先验知识，使得模型具有视角无关性（view-agnostic capability）。
• • 轻量级全卷积网络 (FCN)：
• • 以这些归一化的多层深度平面扭曲图像作为输入（双目 RGB，6通道）。
• • 网络由 5 个下采样块和 5 个上采样块组成，通过**跳跃连接（skip connections）**实现残差学习。
• • 网络被训练来高效计算每个深度平面的精确相位 () 图案。

4. 结构化光学损失优化

为了确保光场近似的准确性，模型通过结构化损失函数进行优化，主要包括三部分：

1. 1. 强度一致性损失 (): 保证聚合后的发光强度与目标图像的真实强度一致性。

• • : 像素级发光强度向量的  范数（通常为  范数）。
• • : 发射光场的像素级发光强度向量。
• • : 匹配的真实强度向量。
• • : 颜色通道 (如 RGB)。

• • : 聚合结果和目标图像的局部均值。
• • : 聚合结果和目标图像的局部方差。
• • : 聚合结果和目标图像的局部协方差。
• • : 为防止除零而设置的系统误差。

• • : 在当前视锥场 () 与深度平面  的交集区域内，所有光路  的总相位集合。
• • : 光路  在深度  处的相位。
• • : 随训练时间指数衰减的因子。

🧪 实验评估：性能与效果验证

EyeReal 在多维度上进行了全面评估，验证了其卓越的性能和效果。

1. 全视差支持与观看体验

• • 运动视差（Motion Parallax）： 在水平、垂直和径向等多种空间运动方向和轨迹下，EyeReal 都能保持高度稳定、视角一致的预测结果，实现了流畅的运动适应性。
• • 焦距视差（Focal Parallax）： 实验验证了 EyeReal 支持深度依赖的展示，即前景聚焦时近处物体清晰、背景模糊，背景聚焦时远处物体清晰、近处模糊，表现出真实的焦距辨别力，有效缓解了 VAC。
• • 真实世界验证： 在物理原型（多层 LCD）上的实验表明，EyeReal 的双目视图具有清晰可辨的视觉分离和结构描绘，并在全向运动中保持视图一致性。

2. 性能基准对比

EyeReal 的优势在于：

• • 在双眼周围宽广区域内保持高质量一致性，解决了传统视段分割模型的局部区域限制和 IPD 错位问题。
• • 通过精确的物理建模，解决了传统视密度模型在近距离或斜向观看时因依赖理想平行眼假设而导致的性能下降问题。
• • 在保持高性能的同时，实现了亚秒级的实时运算速度，相比现有模型有显著提升。