【简介】
这篇文章的作者来自中科大、北大武汉人工智能研究院、大疆和上海科大,投稿到了ICLR 2024会议,已接收。
UC,表示under calibrated,意味着标定不准。本文提出UC-NeRF用于解决标定不够好的多相机配置的新视角合成方法。首先,作者提出一种基于层的颜色校正方法,以纠正不同图像区域中的颜色不一致性。其次,设计了一种虚拟变形技术,用于生成多视角的颜色一致的虚拟视图,既用于颜色校正,也用于3D恢复。最后,设计了时空位姿约束使多摄像头的位姿更加稳定和准确。该技术在多相机配置的自动驾驶等应用具有较大的潜在价值。
【创新点】
1. 基于层的颜色校正。解决不同摄像头图像颜色不一致的问题。
2. 虚拟变形。在虚拟视点变形的图像为颜色校正提供了更强的约束。
3. 时空约束的姿态优化。明确建模摄像头之间的时间和空间连接。
【review】
【方法】
【结论】
相比于标定不好的多相机场景肯定有提升,但是通用性和效率方面还值得继续探讨下。此外,开源是本文的最大亮点:https://kcheng1021.github.io/ucnerf.github.io/.