Reflect3D

这项工作旨在通过从单张图像进行对称性检测，并将对称性作为3D几何先验改善单视图重建质量。 该架构分为两个阶段，做出初步猜测的前馈检测器，以及对其进行细化的多视角增强管线。

1. 前馈对称性检测器#

通过DINOv2作为Image Encoder（训练时保持冻结），所谓的“Symmetry Hypotheses”是N个固定的均匀分布在半球上的单位向量。这些假设充当Transformer解码器中的queries。对于每个假设方向，模型输出两项内容：1. 分类分数：在这个方向上真的存在对称平面吗？2. 回归调整：一个精确的“微调”，用于将假设与真实的对称平面完美对齐。
该设计允许模型检测出多个对称轴，或者在物体不对称时检测不到任何轴。

2. 基于MVDF的多视角对称性增强#

前馈模型仍然受限于单视角模糊性。这里研究者先用MVDF由单视图生成多视角图像，用上面提到的对称性检测器在多视角上并行运行对称性检测。来自所有视图的预测被旋转回一个通用的坐标系，随后执行K-Means聚类，将最大聚类的中心作为对称方向。

3. 基于DreamGaussian结合对称性优化的单图3D生成#

1. Symmetry Alignment：将检测到的对称平面对齐到初始 3D Gaussian 场景。一旦检测到对称平面，3D 点云就会与该平面对齐。这确保了物体在 3D 空间中的方向正确。#

2. Symmetric SDS Optimization：在 3D 几何生成过程中加入对称约束。在优化过程中，模型不仅仅检查渲染图像是否看起来不错。它还会检查反射视图是否也看起来一致。他们还周期性地对称“致密化” 3D 高斯——如果左边有一个细节，它会被复制到右边。#

3. 3. Symmetric Texture Refinement：利用镜像图像补全和优化纹理。当将纹理绘制到 3D 模型上时，系统使用对称平面来填充被遮挡的区域。如果相机看到了左耳但没看到右耳，系统会将左耳的纹理镜像到右侧。#